Nasqué accidentalment a París, fill de dos músics nord-americans que hi estudiaven. Nen prodigi, inicià els estudis de piano i violí a cinc anys i debutà com a director d’orquestra a Nova York quan en tenia nou. Estudià direcció amb Vladimir Bakaleinikoff a Pittsburgh i combinà la seva formació musical amb l’estudi de les matemàtiques. El 1941 fou convidat per A. Toscanini a dirigir l’Orquestra Simfònica de l’NBC. El 1946 fundà el Fine Arts Quartet of Pittsburgh, on fou primer violí fins el 1956. El 1948 fou violinista de l'orquestra d'aquesta ciutat.
S'inicià com a director el 1953 al Teatre Bellini de Catània, i posteriorment dirigí diverses orquestres a Europa, com la de Bayreuth (1960). El 1962 dirigí Don Giovanni al Metropolitan de Nova York. Del 1965 al 1971 fou director de l'Orquestra Simfònica de la Ràdio de Berlín, el 1978 actuà al Covent Garden de Londres, i posteriorment fou director de l’Òpera Estatal de Viena (1982-84), de l’Orquestra de Cleveland (1972-82) i també de la Simfònica de Pittsburgh (1988-96), de la Simfònica de la Ràdio bavaresa (1991-2002) i de la Filharmònica de Nova York (2002-09). En 2005-11 assumí la direcció musical del Palau de les Arts Reina Sofia de València, càrrec des del qual s’encarregà de crear i dirigir l’Orquestra de la Comunitat Valenciana. El 2010 fou nomenat director de la Filharmònica de Munic.
Des dels anys noranta s’interessà també per la composició i escriví obres orquestrals (algunes amb la presència de narrador), com ara Música per a violoncel i orquestra (1994), Música per a flauta i orquestra (1995) i Música per a violí i orquestra (1997), de la qual interpretà la part solista el 1997, a més de l’òpera 1984, basada en la novel·la de George Orwell i que fou estrenada al Covent Garden de Londres el 2005.
Enregistrà prop de 300 discos, especialment per als segells Deutsche Grammophon Gesellschaft i Decca.
Dirigí diverses versions cinematogràfiques d’òperes, com Don Giovanni (J. Losey, 1979), Carmen (F. Rosi, 1984) i Otello (F. Zeffirelli, 1986)