Començà a tocar la trompeta a tretze anys, i quan en tenia setze tocava amb el seu germà gran Hank Jones i amb Sonny Stitt. Els anys cinquanta treballà amb Charlie Mingus, i del 1954 al 1963 formà part de la Count Basie Orchestra. El 1965, juntament amb el bateria Mel Lewis, formà una big-band, per a la qual compongué i arranjà diversos temes musicals. La Thad Jones-Mel Lewis Jazz Orchestra fou una de les més avançades de la seva època, i esdevingué un model per a les grans formacions de jazz. El 1979 abandonà la formació i hagué de tocar el trombó de pistons a causa d’una lesió al llavi que l’obligà a deixar la trompeta. Visqué a Dinamarca liderant la Radioens Big-band. L’any 1985 tornà als Estats Units per a dirigir la Count Basie Orchestra fins al febrer del 1986.