Rebé les primeres lliçons musicals dels seus pares i també de Gustav Helsted (orgue), Christian Petersen (violí) i C.F.E. Hornemann (teoria). Començà a compondre de molt jove, i destacà ben aviat com a organista. El 1908 estrenà la seva primera obra, la cantata Musae triumphantes (1906), i cinc anys després presentà a Berlín la Simfonia número 1. Durant aquesta primera etapa juvenil, estigué fortament influït per la música romàntica i postromàntica, especialment la de F. Liszt, R. Wagner, A. Bruckner i G. Mahler. Més tard la seva obra revela la influència de C. Nielsen i evolucionà cap a l’atonalisme, visible en la Simfonia número 6 (1919). Finalment, però, Langgard abandonà la línia més avantguardista i tornà al Romanticisme, cosa que s’observa en la Simfonia número 7 (1925-26). El 1940 fou nomenat organista de la catedral de Ribe, càrrec que el dugué a compondre abundant música litúrgica, tant vocal com per a orgue. A part de la música simfònica, del seu catàleg destaca el Quartet de corda número 3 (1924).