Format a l’Acadèmia Ferenc Liszt de Budapest, amb E. Dohnányi, Z. Kodály i L. Weiner, els sis mesos que estudià piano amb B. Bartók foren decisius per a la seva carrera. El 1930 entrà com a assistent a l’Òpera de Budapest, de la qual fou director principal en 1934-39. El 1935, B. Walter el nomenà assistent seu al Festival de Salzburg, i del 1936 al 1937 ho fou d’A. Toscanini al mateix festival. El 1938 debutà com a director operístic a Budapest, i l’any següent es refugià a Suïssa, on emprengué la carrera de pianista davant les dificultats per a dedicar-se a la direcció a causa de l’antisemitisme imperant.
Acabada la Segona Guerra Mundial reprengué la seva activitat directorial: titular de l’Òpera de Munic (1946-52), posteriorment passà a dirigir l’Òpera de Frankfurt (1952-61), director artístic al Covent Garden de Londres (1961-71), director musical de l’Orquestra Simfònica de Chicago (1969-91). El 1971 fou nomenat assessor musical de l’Òpera de París i del 1972-75 dirigí l’Orquestra de París. En 1979-83 estigué al capdavant de l’Orquestra Filharmònica de Londres, de la qual fou director emèrit des del 1983; entre el 1990 i el 1993 dirigí el Festival de Pasqua de Salzburg.
El 1971 rebé el títol de sir i el 1972 es naturalitzà britànic. Els seus enregistraments discogràfics li valgueren nombrosos premis internacionals.