Fou un dels pianistes més importants del segle XX. A cinc anys ja destacà per les seves condicions musicals excepcionals i quan en tenia dotze debutà amb l’Orquestra Simfònica de Viena. Estudià piano amb Richard Robert i composició amb A. Schönberg. El 1920, amb motiu d’una actuació amb l’Orquestra de Cambra Busch, conegué el violinista Adolf Busch, que el protegí, i hi establí una sòlida amistat; sovint actuaren junts. Entre el 1926 i el 1936 residí a Basilea, i el 1935 es casà amb Irene Busch, filla d’Adolf. El 1936 actuà a Nova York amb l’Orquestra Filharmònica de la ciutat dirigida per A. Toscanini i el 1938, juntament amb A. Busch, hi interpretà la integral de les sonates per a violí i piano de L. van Beethoven. L’any següent, arran de l’esclat de la Segona Guerra Mundial, s’establí als Estats Units i adoptà la nacionalitat nord-americana. Des del 1939 impartí classes a l’Institut Curtis de Filadèlfia, centre on fou director del departament de piano en 1968-77. El 1951 Pau Casals el feu actuar en la primera edició del Festival de Prada de Conflent. B.J. Martinu li dedicà la Sonata per a piano, que Serkin estrenà el 1957. El seu repertori abraçava des de J.S. Bach fins als compositors romàntics.