Inicià la seva educació musical amb la seva mare, i després l’aprofundí amb John Blackburn, organista de l’església del seu poble. El 1836 començà la seva formació com a enginyer civil amb Alexander Gordon, i tres anys després fou admès com a graduat a la Institució d’Enginyers Civils, on participà en diversos projectes. L’any 1852 es traslladà a Sydenham i conegué el canonge de Canterbury, que l’introduí en la recerca bíblica. Fou aleshores que col·laborà amb William Smith en el Dictionary of the Bible durant els següents set anys, la qual cosa li permeté desenvolupar la idea del diccionari de música. Amb el temps, les seves energies es van anar concentrant cada cop més en la música: escrivia freqüentment a la premsa, assistia a concerts i festivals, i redactava prefacis i anàlisis per a programes de mà. Foren famosos els assaigs analítics destinats als programes dels concerts del Cristal Palace, del qual va ser secretari del 1852 al 1873, i que va escriure durant més de quaranta temporades. De la seva participació en la premsa cal destacar la labor que va fer com a editor al "Macmillan’s Magazine" (1868-83), la seva contribució a "The Times" (des del 1860) i al "Spectator" (1869-98). El 1873 renuncià a les funcions de secretari al Cristal Palace per a dedicar-se a l’edició del Dictionary of Music and Musicians per a Macmillan (el primer volum es publicà el 1879). L’any 1882 participà, amb molta dedicació, en la fundació del Royal College of Music, del qual esdevingué director l’any següent i fins el 1894. El seu principal objectiu fou el d’oferir bons mestres als alumnes de l’escola, desvetllar-los l’interès per qüestions intellectuals i dotar-los d’una bona cultura.
Com a musicòleg destacà per la seva recerca sobre F. Mendelssohn, F. Schubert i L. van Beethoven, autors dels quals va fer una anàlisi profunda i n’examinà detalls que fins aleshores s’havien ignorat. El seu llibre més important fou Beethoven and his Nine Symphonies (1896). Tot el que va assolir era fruit d’una formació autodidàctica i d’un gran entusiasme. Ell mateix es reconeixia com un amateur, però això no li va significar cap limitació; pensava que amb esforç, dedicació i un alt sentit de la moralitat es podien conquerir tots els objectius.