De formació autodidàctica, debutà quan era un adolescent. El 1928 es traslladà a Nova York i l’any següent entrà en l’orquestra de Duke Ellington com a substitut de Bubber Miley. Deixà Ellington el 1940 i tocà durant un any en l’orquestra de Benny Goodman. El 1941 formà la seva pròpia banda, en la qual tocaren personatges com Bud Powell i Charlie Parker i que es dissolgué al principi dels anys cinquanta. El 1962 tornà a l’orquestra d’Ellington, on romangué fins el 1975. Williams fou un intèrpret de gran força expressiva. Bàsicament inspirat en Louis Armstrong, emprà i desenvolupà els recursos creats els anys vint per Bubber Miley. Entre els seus millors enregistraments destaquen Concerto for Cootie (1940), The Mooche, Black and Tan Fantasy (1966) i Portrait of Louis Armstrong (1970), gravats amb l’orquestra d’Ellington.