Estudià teologia i el 1873 ingressà al Conservatori de Copenhaguen, on fou alumne de J.C. Gebauer, mestre que influí en la seva futura carrera compositiva. Viatjà a Itàlia (1882), on descobrí la música polifònica. Esdevingué un dels representants més destacats del cecilianisme danès i, convençut que era necessària una reforma en la música litúrgica, compongué obres inspirades en el cant gregorià. Des del 1891 succeí com a organista a N. Gade a la Holmens Kirke, càrrec que ocupà fins a la seva mort. La recuperació de la música medieval danesa, com ara les balades, i de la cançó popular, que considerava basada en la música religiosa, foren altres fites destacades de la seva estètica. El 1922 publicà una col·lecció de cants populars que esdevingué famosa al seu país, Folkehojskolens melodibog ('Cançoner de melodies populars').