Rebé les primeres lliçons del seu pare, el també pianista Franz Rummel. Quan aquest morí, es traslladà als Estats Units, on adquirí la nacionalitat nord-americana. Establert a Washington, continuà els seus estudis musicals amb S.M. Fabian. El 1904 tornà a Berlín per ampliar els coneixements de piano i composició. De Berlín passà a París, on establí una sòlida amistat amb C. Debussy, del qual estrenà diverses obres. Entre el 1918 i el 1921 fou el pianista acompanyant de la ballarina Isadora Duncan, amb la qual visità diversos països europeus. Durant els anys vint visqué a Londres i s’hi guanyà una sòlida reputació com a pianista. Al llarg de la Segona Guerra Mundial oferí concerts als països ocupats per l’exèrcit nazi i el 1944 rebé de nou la nacionalitat alemanya. Dugué a terme diversos enregistraments, entre els quals destaquen els de J.S. Bach, F. Chopin i F. Liszt. Com a compositor, escriví nombroses peces per a piano i feu moltes transcripcions d’obres de J.S. Bach.