Començà a estudiar el clarinet a sis anys, i quan en tenia onze s’inicià en el piano. Els anys cinquanta, encara a Detroit, tocà amb Milt Jackson, Thad Jones i Elvin Jones, entre d’altres. A partir del 1956, ja a Nova York, acompanyà molts músics, com per exemple J.J. Johnson, Coleman Hawkins, Miles Davis i John Coltrane. És conegut, sobretot, per haver estat molts anys (1956, 1963-65, 1968-78) pianista i director musical d’Ella Fitzgerald. Durant els anys vuitanta i noranta actuà sobretot en trios.
Fou un dels mestres de l’estil be-bop, gran intèrpret de la música de D. Ellington i B. Strayhorn, i poètic recreador de cançons americanes. De la seva discografia selecta cal destacar Tokyo Recital (1975), Eclypso (1979) i Jazz Poet (1990).