Estudià becat al Berklee College of Music, i feu la primera gira amb l’orquestra de Lionel Hampton el 1951. Simultàniament començà a treballar com a arranjador independent, prestant els seus serveis a molts músics, entre els quals hi hagué Clifford Brown, Count Basie, Cannonball Adderley, etc. El 1956 realitzà una gira com a trompetista en la big-band de Dizzy Gillespie, i enregistrà, a nom seu, This is how I feel about jazz. L’any següent signà un contracte amb la discogràfica Mercury i la seva distribuïdora francesa Barclay, que el portà a París durant un any i mig com a productor, arranjador i director. En aquesta ciutat estudià composició amb Olivier Messiaen. En 1959-60 feu una gira amb la seva pròpia big-band. Feu arranjaments per a Ray Charles, Count Basie (Li’l Ol’Groovemaker...Basie) i molts d’altres, i també per a produccions pròpies. El 1964 fou nomenat vicepresident de la Mercury Records. El 1965 compongué la música per el llargmetratge de Sidney Lumet The Pawnbroker, experiència que repetí posteriorment per a més d’una trentena de films i molts programes televisius. Durant els anys setanta treballà per a A&M Records, i el 1980 fundà la seva pròpia companyia, Qwest. Intervingué en produccions d’Aretha Franklin, Michael Jackson i els millors artistes populars. És un dels artistes més influents de la música popular nord-americana.