Inicià els estudis musicals a la seva ciutat natal i els continuà a Frankfurt, on fou deixeble d’Eugen d’Albert. Més tard perfeccionà els estudis amb Aleksandr Ziloti. El 1895, quan tenia 11 anys, conegué Johannes Brahms.
El 1902 inicià la seva carrera de concertista. L’any 1905 guanyà el Premi Rubinstein a París i fou nomenat professor de piano del Royal Manchester College of Music. Però deixà la docència i inicià una carrera ascendent com a pianista que el portà a actuar a les principals sales de concert europees.
Fou un intèrpret modèlic de Beethoven i de Brahms, així com de Mozart, Schumann i Chopin. Les seves versions es caracteritzen per una gran noblesa de dicció i una tècnica al servei de la musicalitat. Està considerat com el primer exponent d’una generació de pianistes que trencà amb la tradició romàntica de Liszt i Rubinstein.
Fou un dels pioners de la música pianística gravada i els seus discos, profusament reeditats, han estat considerats sempre una referència. El 1910 enregistrà el seu primer disc, el Concert en la menor de Grieg. Posteriorment, enregistrà la integral de les sonates de Beethoven i els seus cinc concerts, a més dels estudis de Chopin i els concerts per a piano de Brahms. Durant la Segona Guerra Mundial es refugià a Suïssa. El 1954 debutà tardanament als EUA, on anteriorment s’havia resistit a actuar.