De jove tocà en grups de swing de l’àrea de Boston i, a la meitat dels anys quaranta, després de pertànyer a l’orquestra de Luis Russell, començà a treballar a Nova York, sobretot amb Lester Young i Charlie Parker. Als anys cinquanta formà part del trio de Sarah Vaughan, i també actuà i enregistrà amb els millors músics de l’època, com ara Bud Powell, Thelonious Monk i Phineas Newborn. Els anys seixanta creà el seu propi conjunt i enregistrà l’àlbum Out of the Afternoon (1962). També col·laborà amb John Coltrane i Chick Corea, entre molts altres. Bateria de gran personalitat, un dels més influents del jazz, Haynes ha mantingut un alt nivell creatiu durant tota la seva carrera, que ha prosseguit amb els millors músics de totes les generacions.