De gran precocitat, començà estudis de piano al Conservatori de Berlín als sis anys, i esdevingué un virtuós de l’instrument. Fugint dels nazis, la seva família, d’origen jueu, marxà a París el 1938, on durant un any fou deixeble de Marcel Dupré al Conservatori de París. Exiliat als Estats Units amb la seva família, hi estudià composició amb Joseph Acron i Mario Castelnuovo-Tedesco, a Los Angeles, i direcció amb Pierre Monteux, a San Francisco. Nacionalitzat nord-americà (1943), el 1946 escriví per a Josep Iturbi una peça de jazz per al film musical Holiday in Mexico. Després d’un any a l’exèrcit (on tocà en una banda de la marina) es reincorporà a Hollywood, on fins el 2008 escriví una setantena de bandes sonores per a la Metro-Goldwyn-Mayer. Com a compositor i arranjador obtingué el premi Oscar per Gigi (1959, Vincente Minnelli), Porgy and Bess (1960, Otto Preminger), Irma la Douce (1964, Billy Wilder) i My Fair Lady (1965, George Cukor). Compongué també musicals per al teatre, alguns dels quals grans èxits com Coco (1969) i Good Companions (1974). En el camp de la música clàssica, debutà com a director el 1962 i fou director de la Houston Symphony Orchestra (1967-69), la London Symphony Orchestra (1968-79), la Royal Symphony Orchestra (1985-88), la Pittsburgh Symphony Orchestra (1978-84) i de Los Angeles Philarmonic Orchestra (1984-89). A més, feu nombrosos recitals de piano, com a concertista o en obres de cambra.
A banda de les esmentades, de les seves nombroses obres es poden esmentar Symphony for String (1965), Overture to a Comedy (1966), Suite for Piano (1967), Guitar Concerto (1970), el cicle de cançons Honey and Rue (1992), el musical Pages from the Calendar (1977), Peaches (1978), per a flauta i corda, Piano Concerto (1984), la Sonata for Cello (1993), les òperes Streetcar Named Desire (1998) i Brief Encounter (2007) i la sonata per a violí i piano The Fifth Season (2018), entre d’altres.
La seva versatilitat el portà també a fer nombroses col·laboracions amb primeres figures del jazz, com ara Ella Fitzgerald, Dinah Shore o Dizzy Gillespie, entre molts altres, i també àlbums de jazz amb solistes de música clàssica com ara Itzhak Perlman o Kiri Te Kanawa.
Guanyà un total de 10 premis Grammy entre el 1958 i el 2004 (repartits a parts iguals entre música clàssica i altres gèneres). El 2010 rebé un Grammy honorífic. És autor també dels llibres Music Face to Face (1971), Orchestra (1972), Guide to Music (1983) i No Minor Chords. My Days in Hollywood (1992). Feu també reportatges sobre música per a la BBC, amb els quals aconseguí una gran popularitat. La seva discografia consta de centenars de títols. Estigué casat cinc vegades, una de les quals amb l’actriu Mia Farrow (1970-79), i la seva última esposa fou la violinista Anne-Sophie Mutter (2002-06).