Treballà amb Ch. Barnet (1947) i C. Basie (1948-51). Del 1951 al 1959 formà part de l’orquestra de D. Ellington i paral·lelament enregistrà àlbums amb temes propis, entre els quals Swahili (1955) i Serenade to a Bus Seat (1957). Durant els anys seixanta fou contractat per la cadena NBC i es convertí en un membre de Tonight Show Orchestra (1962-72). Així mateix, col·laborà amb músics com Oscar Peterson, amb qui gravà Trio Plus One (1964), i Bob Brookmeyer, amb el qual formà un quintet i enregistrà Tonight (1964). A partir dels setanta es presentà com a solista en els principals festivals i clubs del món. Entre molts altres enregistraments destaquen Portraits (1988) i Live at the Village Gate (1990). Terry ha estat un dels millors intèrprets de jazz molt admirat pel seu gran virtuosisme tècnic i el seu lirisme, i fou el principal responsable de la incorporació del fiscorn com un instrument habitual del jazz. La seva versatilitat li permeté compatibilitzar els estils del swing dels anys de formació i del bop, ja en la maduresa. Un dels models dels trompetistes de les noves generacions, entre els quals Miles Davis, alternà la faceta d'instrumentista amb la de cantant, utilitzant la tècnica de l'scat