Era fill de l’organista i compositor, deixeble de J.S. Bach, Heinrich Nikolaus Gerber (1702-1775), del qual rebé una acurada educació musical. Estudià dret, però poc temps després de començar a exercir abandonà la professió i es dedicà a la música. A la mort del seu pare, ocupà la plaça d’organista a la cort de Schwarburg-Sonderhausen. Autor d’un reduït nombre de composicions instrumentals, ha passat a la història com a estudiós de la música. Al llarg de la seva vida acumulà una de les col·leccions de documentació musical més extenses. Destacava, en primer lloc, la biblioteca, engrandida a partir de la del seu pare. Gerber mateix fou autor d’un extens diccionari biogràfic de músics, Historisch-biographisches Lexikon der Tonkunstler, 1790-92, ampliat entre el 1812 i el 1814. Aquesta obra ha estat la base de molts diccionaris posteriors. També és autor de nombrosos treballs monogràfics, entre els quals cal esmentar un inventari de les obres publicades de Joseph Haydn (1792), estudis sobre l’origen de l’òpera (1799-1800), sobre estètica musical i altres temes.