Durant la seva infantesa començà a estudiar piano, orgue i composició. Més tard cursà teologia i filologia clàssica a la Universitat de Göttingen (1860-64). Un dels musicòlegs més importants de la darreria del segle XIX, fou excepcionalment actiu com a investigador, pedagog, escriptor i editor. S’interessà per gairebé tots els períodes de la història de la música i és especialment notable la seva biografia de J.S. Bach en dos volums publicats a Leipzig, el primer el 1873 i el segon el 1892. Fou membre fundador de la publicació "Vierteljahrsschrift für Musikwissenchaft" (1885) i destacat col·laborador de la sèrie Monuments de la música alemanya i de The Grove’s Dictionary of Music and Musicians. Destacats musicòlegs, com Oskar Fleischer, Max Seiffert i Johannes Wolf, foren deixebles seus a la Universitat de Berlín.