Estudià guitarra i piano abans de dedicar-se al xilòfon i el vibràfon. El 1945 Dizzy Gillespie el contractà per al seu sextet i big band. Al final dels anys quaranta treballà amb Charlie Parker i Woody Herman. El 1952 formà el Modern Jazz Quartet (MJQ), grup en què centrà la seva carrera durant les dues dècades següents. Amb tot, continuà oferint actuacions com a solista o com a artista convidat -activitats que incrementà després de la dissolució del MJQ el 1974-, i es mantingué plenament actiu fins a la seva mort. Fou un dels solistes més destacats del jazz, amb un estil vibrafonístic únic, tot emprant els recursos del be-bop amb una gran expressivitat i profund sentit del blues.