Fou educat musicalment a Rouen sota la tutela del seu pare, organista de Saint-Ouen. Nen prodigi, a dotze anys rebé el càrrec d’organista de l’església de Saint-Vivien. Completà la seva formació musical al Conservatori de Música de París entre el 1902 i el 1914, i tingué com a mestres, entre altres, L.V. Vierne, Ch.M. Widor i L. Diémer. El mateix any que finalitzà la seva formació (1914) guanyà el Gran Premi de Roma de Composició.
Interessat en l’obra de J.S. Bach, el 1920 interpretà la integral de les seves obres per a orgue a París, fet que li proporcionà un gran reconeixement internacional com a organista. Fou catedràtic d’orgue (1926-56) i director (1954-56) del conservatori de París, i entre els nombrosos deixebles que tingué cal destacar O. Messiaen.
El seu profund coneixement de la música per a orgue, el seu virtuosisme tècnic, la seva gran capacitat per a la improvisació i el gran nombre d’obres per a orgue del seu catàleg el converteixen en un dels compositors i intèrprets d’aquest instrument més importants del segle XX. Tot i que també compongué oratoris, motets, música simfònica i un concert per a orgue i orquestra (1934), es dedicà bàsicament a les peces per a orgue, tant religioses com profanes.
Cal destacar, a més, els seus escrits pedagògics, com el Traité d’improvisation à l’orgue (1926), el Méthode d’orgue (1927) i el Manuel d’accompagnement du plainchant grégorien (1937), força coneguts entre els intèrprets de l’instrument.