Aprengué diversos instruments durant la infantesa, i a tretze anys començà a fer arranjaments. Del 1943 al 1953 fou trompetista, i més tard trombonista d’una sèrie d’orquestres, entre les quals les de Joe Venuti, Buddy Rich i Count Basie. El reconeixement com a arranjador li arribà quan treballà per a Woody Herman el 1948. A partir del 1953 s’establí a Los Angeles, on realitzà arranjaments per a cantants i músics de jazz. Les següents dècades es dedicà a escriure i produir per al cinema, on compongué la seva primera banda sonora per al film I want to Live (Robert Wise, 1958), i la televisió, amb un total d’una quarantena de títols. La seva composició més coneguda fou la cançó The Shadow of Your Smile, escrita per al llargmetratge The Sandpiper (V. Minnelli 1965). Signà, però, partitures de caràcter més jazzístic, com l’àlbum Here’s to Live, de la cantant Shirley Horn, el 1992. Al llarg de la seva carrera guanyà cinc premis Grammy.