Germà dels també destacats músics de jazz Thad Jones (trompeta) i Elvin Jones (bateria), cresqué en un ambient musical. Estudià piano i de molt jove començà a tocar en bandes locals de Michigan, on la seva família s’havia traslladat. Influït en un principi per Earl Hines, Art Tatum i Fats Waller, el 1944 es traslladà a Nova York per treballar amb Hot Lips Page, on entrà en contacte amb el moviment renovador del be-bop (amb John Kirby, Howard McGhee, Coleman Hawkins, entre d’altres), estil del qual esdevindria amb els anys un dels representants més prototípics, i amb els líders del qual tocà sovint. Entre d’altres, col·laborà amb Charlie Parker, Max Roach, Cannonball Adderley, Milt Jackson i Wes Montgomery, amb els quals enregistrà alguns discos cabdals, i també amb músics d’estil més clàssic, com ara Benny Goodman i Lester Young. El 1946 fou contractat pel promotor Norman Granz en la sèrie de concerts Jazz At the Philarmonic, en els quals fou l’acompanyant d’Ella Fitzgerald del 1948 al 1953, anys durant els quals desenvolupà el seu estil de solista i acompanyant, de gran riquesa harmònica i gust exquisit, que l’ha convertit en un dels pianistes de jazz més importants. Continuà treballant individualment, i feu un gran nombre d’enregistraments com a acompanyant. Treballà també com a pianista d’estudi per a la CBS (1959-75) i altres discogràfiques. Després dirigí i tocà en el musical Ain’t Misbehavin’, formà trio propi i actuà com a solista en diversos contextos. Les seves interpretacions sobresortiren per l’elegància i la subtilesa. L’any 2009 rebé un Grammy honorífic en reconeixement a la seva trajectòria. Entre els seus enregistraments com a líder hom pot esmentar The Trio (1955), Hanky Panky (1975), Bop Redux (1977), I Remember You (1977), Groovin’ High (1978), Great Jazz Trio at the Village Vanguard (1980), Maybeck Recital (1991) i West of 5th (2006).