Es crià a Pittsburgh, on començà a actuar professionalment en l’adolescència. El 1929 entrà en l’orquestra d’Andy Kirk en qualitat de pianista i arranjadora. L’èxit de la banda de Kirk els anys trenta fou degut, en gran part, a les composicions, arranjaments i a la interpretació pianística de Williams, que també proveí de partitures les orquestres d’Earl Hines, Benny Goodman i Louis Armstrong. Després de deixar Kirk el 1942, formà grup propi i arranjà per a Duke Ellington, per a qui escriví Trumpet No End. El 1946, la seva Zodiac Suite s’estrenà al Carnegie Hall amb l’Orquestra Filharmònica de Nova York. Estigué en contacte amb músics de be-bop i arranjà també per a Dizzy Gillespie. Del 1952 al 1954 visqué i treballà a Europa. Retirada durant alguns anys dels escenaris per dedicar-se a tasques religioses i de caritat, fou activa altra vegada durant els anys seixanta i setanta, al llarg dels quals actuà en diversos clubs de Nova York. Enregistrà, entre d’altres, els àlbums Live at the Cookery (1975) i My Mama Pinned a Rose on Me (1977). Compongué la cantata Black Christ of the Andes (1963) i tres misses, entre les quals Mary Lou’s Mass (1970).