Es formà en les disciplines de piano i composició a Leipzig i el 1886 anà a Berlín, on estudià a la Hochschule für Musik. Instal·lat en aquesta darrera ciutat, inicià la seva activitat compositiva amb l’òpera Kosakkene ('Els cosacs', 1894) i l’oratori Den forlorne søn ('El fill pròdig', 1896). De nou a Noruega, fou professor de composició i contrapunt a Kristiansand entre el 1896 i el 1908, fou director de la Societat Coral Drammen (1897-1901) i organista de l’església de Gamlebyen (1909-26). A partir del 1898, gràcies a una beca del govern, pogué dedicar-se a l’estudi i la recollida de cants folklòrics noruecs juntament amb el seu col·lega Olav Sande. Les obres d’Elling tenen un llenguatge líric, sense complexitats harmòniques. A part de la seva obra compositiva, cal destacar els seus escrits sobre folklore noruec, com ara Sprogforholdet inden vore folkemelodier ('Les relacions de llenguatge en les nostres cançons folklòriques', 1930) o Nye bidrag til belysning af norsk folkemusikk ('Noves contribucions a la comprensió de la música popular noruega', 1933).