Fill del musicòleg Hans Albrecht, estudià a Kiel i a Hamburg, i el 1957 guanyà el Premi de Besançon. A partir del 1958 fou director assistent de l’Òpera de Stuttgart, fins que el 1961 fou nomenat director permanent de l’Orquestra de Magúncia. Successivament, treballà a Lübeck i a Kassel, essent el director alemany més jove del seu temps. A partir dels anys setanta fou director dels teatres d’òpera més rellevants d’arreu, i estrenà obres de H.W. Henze, Reimann o G. Ligeti, entre d’altres. El 1992 fou nomenat director de l’Òpera de Berlín i al setembre del 1993, de l’Orquestra Filharmònica Txeca, en substitució de Václav Neumann. Fou també director principal de l’Orquesta Simfònica Yomiuri de Tòquio (1997-2007) i de l’Orquestra Simfònica de la Ràdio Danesa (2000-04).