Estudià guitarra i piano abans de dedicar-se al xilòfon i el vibràfon. El 1945 Dizzy Gillespie el contractà per al seu sextet i big band. Col·laborà també amb T. Monk i fou un destacat representant del moviment bop. Al final dels anys quaranta treballà amb Charlie Parker i Woody Herman.
El 1952 formà el Modern Jazz Quartet (MJQ), grup en què centrà la seva carrera durant les dues dècades següents. Amb tot, continuà oferint actuacions com a solista o com a artista convidat —activitats que incrementà després de la dissolució del MJQ el 1974—, i es mantingué plenament actiu fins a la seva mort. Renovà la tècnica del vibràfon en el jazz i creà un estil de sonoritat nítida i metàl·lica. Fou un dels solistes més destacats del jazz, tot emprant els recursos del be-bop amb una gran expressivitat i profund sentit del blues.