D’infant acompanyà amb orgue o piano els serveis religiosos oficiats pel seu pare, predicador baptista. Quan era adolescent, mentre treballava d’organista en diverses sales de cinema mut, conegué James P. Johnson, que l’ajudà a desenvolupar el seu estil pianístic. L’any 1922 feu els seus primers enregistraments com a solista, amb temes propis, i més tard fou acompanyant de gravació per a alguns cantants, com Alberta Hunter. Aviat inicià la seva activitat com a intèrpret radiofònic (1923) i el 1926 començà la seva llarga associació amb la discogràfica Victor, amb un enregistrament de solos d’orgue (St. Louis Blues, 1926). El 1934 fou l’inici de la nombrosa i variada sèrie de gravacions amb el seu grup Fats Waller and His Rhythm. Morí de pneumònia durant una gira. Waller és considerat un dels músics de jazz més importants. Posseïdor d’una tècnica pianística superior, desenvolupà plenament l’estil de stride piano. A més fou un fecund compositor de cançons, les més conegudes de les quals són Honeysuckle Rose, Ain’t Misbehavin' i The Jitterbug Waltz. Com a cantant, mostrà un gran sentit humorístic, que impregnà gran part de la seva obra. Fou un pioner en l’ús de l’orgue de tubs en la interpretació jazzística. A partir del 1939 emprà els primers models d’orgue electrònic.