Gavory speelde in de jeugd voor AS Beauvais Oise en Olympique Beauvais. Op zijn dertiende trok hij naar AJ Auxerre. Op 22 september 2012 debuteerde hij daarvoor in de Ligue 2, tegen EA Guingamp.
In juli 2018 werd bekendgemaakt dat Gavory voor circa €250 duizend naar FC Utrecht zou vertrekken. Hij maakte er op 11 augustus 2018 zijn debuut, tegen PSV. In die 4-0 verloren wedstrijd verving hij in de 81e minuut Urby Emanuelson. Op 26 augustus 2018 maakte hij zijn eerste doelpunt voor FC Utrecht, thuis tegen VVV Venlo. Gavory was het hele seizoen basisspeler. Hij plaatste zich aan het einde van het seizoen met FC Utrecht via de play-offs voor de tweede kwalificatieronde van de Europa League. Dit maakte hij zelf niet meer mee, want hij verruilde de club in juli 2019 voor Standard Luik. Dat betaalde circa €3,1 miljoen voor hem.[1]
Frankrijk
Fortuna Düsseldorf
.svg){kind=small}