Arrelat en el món del jazz, estudià becat al Berklee College of Music, i feu la primera gira amb l’orquestra de Lionel Hampton el 1951. Simultàniament començà a treballar com a arranjador independent, prestant els seus serveis a molts músics, entre els quals hi hagué Clifford Brown, Count Basie, Cannonball Adderley, Jay McShann, Dizzy Gillespie i d’altre.
El 1956 realitzà una gira com a trompetista en la big-band de Dizzy Gillespie, i enregistrà, a nom seu, This is how I feel about jazz. L’any següent signà un contracte amb la discogràfica Mercury i la seva distribuïdora francesa Barclay, que el portà a París durant un any i mig com a productor, arranjador i director. En aquesta ciutat estudià composició amb Olivier Messiaen.
El 1958 retornà a Nova York i constituí la seva pròpia big-band, amb la qual entre 1959-60 emprengué un recorregut per tot el món fins l’any 1961 que dissolgué l’orquestra i, cercant nous camins, es dedicà preferentment a compondre i a fer arranjaments i enregistraments d’estudi.
Feu arranjaments per a Ray Charles, Count Basie (Li’l Ol’Groovemaker...Basie) i molts d’altres, i també per a produccions pròpies. El 1964 fou nomenat vicepresident de la Mercury Records. El 1965 compongué la música pel llargmetratge de Sidney Lumet The Pawnbroker, experiència que repetí posteriorment per a més d’una trentena de films i molts programes televisius. Durant els anys setanta treballà per a A&M Records, i el 1980 fundà la seva pròpia companyia, Qwest. El 1995 edità el disc Q’s jook joint, amb col·laboracions de Stevie Wonder, Bono, Ray Charles i Gloria Estefan, fins un total de 83 artistes.
La seva carrera continuà dedicada majoritàriament a la producció d’altres artistes, com Dizzy Gillespie, Michael Jackson (els àlbums Off the Wall, Thriller i Bad), George Benson, Aretha Franklin. L’any 2000 publicà el disc Basie and Beyond.
Al llarg de la seva carrera fou nominat 79 vegades als premis Grammy, i n’obtingué 28. El 2001 publicà la seva autobiografia: The Autobiography of Quincy Jones. És un dels artistes més influents de la música popular nord-americana.