Estudià violí i composició, primer al Conservatori de Berlín i més tard a París. Després de formar part de l’orquestra privada del baró rus Paul von Derwies a París durant uns quants anys, el 1881 emigrà als Estats Units, on treballà com a segon violí a l’orquestra de Boston, que abandonà l’any 1905 per consagrar-se plenament a l’ensenyament i a la composició. La música de Loeffler reflecteix el caràcter cosmopolita del compositor i conté influències franceses, alemanyes, russes, ucraïneses i del jazz. Les diverses reorquestracions que feu d’algunes peces pròpies, com ara el Pagan Poem -probablement la seva obra més reconeguda-, són la millor mostra d’un esperit inquiet en una constant cerca de nous timbres i sons. La seva vasta obra inclou tres òperes, música escènica, peces orquestrals i música de cambra i per a cor, entre altres composicions.