Rebé les primeres lliçons d’orgue del seu pare, organista a Huddersfield, que trobà en ell un veritable nen prodigi. S. Wesley li descobrí les obres per a tecla de J.S. Bach, un repertori que el marcà pregonament. Obtingué diferents càrrecs d’organista: a Worcester (1864-68), Wigan (1868-72) i Oxford (1872-82), i el 1882 li fou confiada la plaça d’organista de la capella de Saint George a Windsor, càrrec que ocupà la resta de la seva vida. Fou professor d’orgue al Royal College of Music (1883-1923). Difongué l’obra per a orgue de J.S. Bach, i propugnà una reforma de la música religiosa anglicana, sobretot l’organística, prenent com a exemple les formes barroques i renaixentistes. Com a docent, tingué una influència considerable. Formà part -juntament amb S. Wesley, J. Field o M.W. Balfe- del planter de compositors que protagonitzaren una de les èpoques de més esplendor de la música a la Gran Bretanya.