Estudià a Munic, on el 1951 obtingué el Premi Richard Strauss. Posteriorment es traslladà als EUA, on estudià amb el seu avi, i fou assistent i deixeble de Leonard Bernstein. Georg Solti el contractà com a director del cor de l’Òpera de Frankfurt el 1952 i posteriorment fou director d’orquestra a Lübeck (1957-63), Kassel (1963-66) i Colònia (1964-69). Entre el 1968 i el 1975 tornà a Frankfurt com a director d’orquestra i aquest darrer any fou nomenat intendent de l’Òpera d’Hamburg. El 1984 substituí Lorin Maazel com a director titular de l’Orquestra de Cleveland, amb la qual ha realitzat diverses gires i enregistraments. S’ha especialitzat en repertori contemporani. El 1973 dirigí a Viena unes memorables funcions de Moses und Aron d’Arnold Schönberg, i ha estrenat òperes de F. Cehra, G. von Einem i H.W. Henze, entre d’altres. Dirigí la seva dona, la soprano Anna Silja, en un celebrat enregistrament de Lulu d’Alban Berg.