Deixeble de Clemens Krauss, estudià al Conservatori d’Innsbruck i al Mozarteum de Salzburg. Començà a treballar com a pianista repetidor i ocasionalment com a director, i el 1942 debutà al Landestheater d’Innsbruck com a director operístic. Entre el 1952 i el 1957 fou director musical a Remscheid, càrrec que deixà en assumir la titularitat de l’Orquestra Filharmònica de Rhineland-Pfalz. Durant el període 1960-64 fou director principal de la Staatsoper de Dresden, i alhora treballà com a director convidat a Berlín, Hamburg, Munic, Viena i altres ciutats europees. Del 1964 al 1971 fou director musical de la Staatsoper de Berlín, activitat que exercí de nou entre el 1975 i el 1990. Des del 1969 dirigí regularment a l’Òpera de San Francisco, i l’any 1973 fou nomenat director honorari de l’Orquestra Simfònica NHK de Tòquio, tasques que combinà amb la direcció, com a convidat, de diverses orquestres arreu del món.