A l’edat de tretze anys entrà al Conservatori de Gant per estudiar piano amb De Somere i harmonia amb Mengal, i quan en tenia quinze es convertí en professor de piano. El 1847 guanyà el primer premi de la Societat de les Belles Arts de Gant i el Premi de Roma de Composició belga. Del 1849 al 1852 viatjà per França, Espanya, Itàlia i Alemanya. A Madrid compongué la Fantasía sobre motivos españoles per a orquestra, dedicada a la reina Isabel II, i escriví el seu estudi Rapport sur l’état de la musique en Espagne. Com a compositor aconseguí alguns èxits amb el conreu del gènere de l'opéra-comique. A partir del 1853 s’instal·là a París, però arran de l’esclat de la guerra francoprussiana tornà a Bèlgica per succeir a Fétis en la direcció del Conservatori de Brussel·les. A partir de llavors Gevaert deixà pràcticament la composició per tal de dedicar-se a l’ensenyament i la musicologia. Entre els seus nombrosos escrits cal destacar el Nouveau traité d’instrumentation (1885) i els estudis de la música de l’Antiguitat i l’Edat Mitjana. Sota la seva direcció (1871-1908), el Conservatori de Brussel·les esdevingué un dels centres musicals més importants d’Europa.