Començà molt aviat els estudis de piano amb el seu pare, el compositor Wilhelm Kempff. Posteriorment amplià la seva formació com a pianista amb K.H. Barth a la Hochschule für Musik de Berlín i també amb Ida Schmidt-Schlesicke. Així mateix, fou alumne de composició de Robert Khan. Inicià la carrera concertística l’any 1916 i guanyà el Premi Mendelssohn el 1917.
Durant un cert temps compaginà el piano amb l’orgue i la docència, àmbit aquest darrer en el qual excel·lí. Entre el 1924 i el 1929 dirigí la Hochschule für Musik de Stuttgart i en 1931-41 impartí cursos d’estiu a Potsdam. També fundà uns cursos d’interpretació de l’obra de L. van Beethoven a Positano, Itàlia, als quals assistiren noms tan importants com E. Heidsieck, S. Mercier i I. Biret, entre d’altres.
Fou un intèrpret destacat del repertori romàntic, i sobretot un gran especialista en l’obra de L. van Beethoven, del qual enregistrà la integral de les trenta-dues sonates per a piano i la de totes les sonates per a violí i piano. Acompanyà les sopranos Lotte Lehmann i Germaine Lubin, i interpretà música de cambra acompanyat dels violoncel·listes P. Fournier i M. Rostropovič i dels violinistes W. Schneiderhan, H. Szeryng, Ch. Ferras i Y. Menuhin.
Compongué dues simfonies, un concert per a piano i orquestra, un concert per a violí, quatre òperes, música de cambra i diverses obres per a piano. El 1951 publicà l’autobiografia Unter dem Zimbelstern.