Estudià direcció al Conservatori de Moscou, a la classe del seu pare. El seu debut, el 1952, al Teatre Bol’šoj de Moscou fou l’inici d’una llarga col·laboració amb aquesta institució, de la qual arribà a ser principal director musical del 1964 al 1970, després d’un període com a director assistent (1951-61).
El 1960 començà a dirigir l’Orquestra Filharmònica de Leningrad quan J. Mravinskij n’era el titular. Entre el 1961 i el 1974 estigué al capdavant de l’Orquestra Simfònica de la Radiotelevisió de l’URSS, càrrec que abandonà en assumir la titularitat de la Reial Orquestra Filharmònica d’Estocolm, que dirigí fins el 1977. Del 1978 al 1981 fou director principal de l’Orquestra Simfònica de la BBC, i del 1981 al 1983, de l’Orquestra Simfònica de Viena. Durant la seva estada a la capital austríaca impartí classes de direcció al conservatori, tasca que prosseguí a l'Acadèmia Chigiana de Siena a partir del 1987. El 1974 fundà l’Orquestra de Cambra de Moscou, de la qual fou el titular fins el 1985, entre el 1983 i el 1991 dirigí l’Orquestra Simfònica del Ministeri de Cultura de l’URSS i entre el 1992 i el 1995 dirigí la Reial Orquestra Filarmònica d'Estocolm. Fou convidat regularment a dirigir les millors orquestres del món, i actuà sovint al capdavant de l’Orquestra Filharmònica de Berlín.