De família jueva, entrà en contacte amb la música a la sinagoga. La seva primera professora de piano fou Augusta Jürgensen. El 1926 ingressà al Conservatori de Copenhaguen, on estudià teoria, orquestració, orgue i piano. A través d’un amic seu, B. Christensen, organista i compositor, conegué el jazz. El seu talent cridà l’atenció del director del conservatori, el compositor Carl Nielsen, amb el qual establí una sòlida amistat. Amb el temps Koppel esdevingué un dels intèrprets més reputats de la música per a piano de Nielsen. La seva música, que delata una clara influència de la música jueva, acompanyà en algunes ocasions documentals de denúncia del genocidi per part del règim hitlerià. De tot el seu catàleg, cal destacar els concerts per a piano i orquestra (1931-63) i l’òpera Macbeth (1967-68), estrenada a Copenhaguen el 1970.