Cursà els seus estudis musicals a Königsberg (avui Kaliningrad) i a Berlín (1922-31), on debutà el 1931, just acabats els estudis, com a director substitut a la Städtische Oper. El 1936 abandonà Alemanya a causa de la seva identitat jueva i s’instal·là a Moscou, com a assistent de Georges Sebastian a l’Orquestra de la Ràdio. El 1941 fou nomenat director de l’Orquestra Filharmònica de Leningrad (actualment de Sant Petersburg), conjuntament amb Jevgenij Mravinskij, càrrec que exercí durant gairebé dues dècades. Mantingué una relació molt estreta, tant professional com personal, amb Dmitrij Šostakovič, del qual enregistrà diverses simfonies.
L’any 1960 torna a Alemanya (a l’aleshores República Democràtica) per assumir la direcció de l’Orquestra Simfònica de la Ràdio de Berlín (1960-77) i de la Staatskapelle de Dresden (1964-67). Des del 1977 desenvolupà una important carrera internacional com a director convidat de les principals orquestres europees, especialitzat tant en el gran simfonisme germànic com en el repertori rus, entre les quals la Yomiure Nippon Symphony Orchestra, de la qual fou nomenat director honorari el 1979. Dirigí també l’Orquesta Nacional de España i l’Orquestra Simfònica de Barcelona i Nacional de Catalunya.
És considerat un dels darrers dipositaris de la gran tradició directorial europea, i excel·lí especialment en el repertori romàntic i postromàntic.