Format al conservatori de Munic i a Salzburg amb Igor Markevič, debutà el 1947 a Augsburg, el 1953 al capdavant de l’Orquestra Filharmònica de Berlín —un dels directors més joves que mai l’han dirigida— i el 1957 a la Scala de Milà. Entre d’altres, ocupà els càrrecs de director principal de les orquestres Simfònica de Viena (1960-70), Filharmònica d’Hamburg (1961-73) i Suisse Romande (1973-80), i del 1971 al 1992, de l’Òpera Bavaresa, que convertí en el centre de la seva activitat artística. Fou també destacada la seva participació al Festival de Bayreuth (1957-62).
Del 1992 al 2003 dirigí l’Orquestra de Filadèlfia. Destacà com a intèrpret de música romàntica alemanya i enregistrà nombrosos discs, dels quals sobresurten les gravacions de les integrals de Richard Wagner (1983) i Richard Strauss (1988). Fou també un pianista molt remarcable, sobretot en duets amb violí i com a acompanyant en lieder, gènere en el qual participà en recitals de primeres figures com ara Elisabeth Schwarzkopf o Dietrich Fischer-Dieskau.
Rebé nombroses distincions, entre les quals cals esmentar la Batuta d’Or de la Scala (1993), el premi Robert Schumann (1994) i la Medalla Hans von Bülow de la Filharmònica de Berlín (2003), a més de nombrosos honors civils i acadèmics.