Format a l’Acadèmia Ferenc Liszt de Budapest, amb E. Dohnányi, Z. Kodály i L. Weiner, els sis mesos que estudià piano amb B. Bartók foren decisius per a la seva carrera. El 1930 entrà com a assistent a l’Òpera de Budapest, de la qual fou director principal en 1934-39. El 1935, B. Walter el nomenà assistent seu al Festival de Salzburg, i del 1936 al 1937 ho fou d’A. Toscanini al mateix festival. El 1938 debutà com a director operístic a Budapest, i l’any següent es refugià a Suïssa, on emprengué la carrera de pianista davant les dificultats per a dedicar-se a la direcció a causa de l’antisemitisme imperant. Acabada la Segona Guerra Mundial reprengué la seva activitat directorial, i del 1946 al 1956 fou titular de l’Òpera de Munic. Posteriorment passà a l’Òpera de Frankfurt (1952-61) i al Covent Garden de Londres (1961-71), i el 1969 fou nomenat director musical de l’Orquestra Simfònica de Chicago, càrrec en el qual es mantingué fins el 1992. També dirigí l’Orquestra de París (1972-75) i el 1973 fou nomenat assessor musical de l’Òpera de la capital francesa. En 1979-83 estigué al capdavant de l’Orquestra Filharmònica de Londres, de la qual fou director emèrit des del 1983, i entre el 1990 i el 1993 dirigí el Festival de Pasqua de Salzburg.