Fill d’un saxofonista, es crià a Boston i, ben petit, començà a tocar la bateria. A deu anys inicià estudis amb Alan Dawson. El 1962, després d’haver-se donat a conèixer, sobretot tocant amb Sam Rivers, marxà a Nova York per treballar amb Jackie McLean. L’any següent entrà al quintet de Miles Davis amb qui treballà set anys. El 1969 formà el grup Lifetime, conjunt que, amb membres canviants, es mantingué durant una dècada. A part, col·laborà amb músics com Chick Corea, Gil Evans i Sonny Rollins. Durant els anys vuitanta i noranta actuà principalment amb el seu propi quintet. Williams, que a disset anys tenia un nivell tècnic sense precedents en la història de la bateria, recollí tota l’evolució instrumentística anterior i la continuà. Fou un dels músics més influents dels anys seixanta, sobretot per la seva tasca en el quintet de Miles Davis.