Inicialment estudià filosofia i dret, però l’any 1862 s’orientà cap a l’estudi de la composició amb Otto Dessoff, a Viena. El 1874 fundà la Societat Bach de Leipzig, amb J.A.P. Spitta, i l’any següent esdevingué professor de composició a la Hochschule de Berlín. Herzogenberg fou un compositor dotat, però, sota l’aclaparadora influència de Brahms, amb qui havia fet amistat durant els seus estudis a Viena, no pogué desenvolupar un llenguatge personal. L’any 1868 es casà amb Elisabeth von Stockhausen (1847-1892), pianista i una de les millors amigues de Brahms, que confià sempre molt en el seu criteri musical quan necessitava una opinió sobre les obres pròpies.