La seva carrera professional començà a Nova York els anys vint. A la dècada següent tocà en diverses bandes, com ara les de Benny Carter i Stuff Smith. Durant la seva estada a l’orquestra de Cab Calloway (1938-42), guanyà molta fama i realitzà enregistraments extraordinaris, com ara Paradiddle Joe (1940). Els anys quaranta estudià a la Juilliard School i després treballà com a percussionista a diversos estudis i teatres. D’aquest període daten enregistraments com el de Concerto for Cozy (1944). Tornà a actuar durant diverses gires com a membre de la formació All Stars, de Louis Armstrong (1948-53). Després fundà i dirigí una escola de bateria a Nova York en col·laboració amb Gene Krupa. El 1958 obtingué un gran èxit internacional de vendes amb el tema Topsy, gravat amb una orquestra pròpia, que seguí dirigint durant els anys seixanta. Durant la dècada dels setanta treballà als quartets de Jonah Jones i de Benny Carter, entre d’altres. Fou un dels bateries més innovadors del jazz clàssic, especialment pel que fa a la tècnica d’independència entre les quatre extremitats del cos.