Estudià orgue i teoria de la música. Treballà com a cornetista en bandes de músics. A partir del 1896 dirigí els Mahara’s Minstrels, i més endavant la seva pròpia banda, la Memphis Orchestra, sempre itinerant pel sud dels Estats Units. La formació interpretava música de ball, ragtime, arranjaments d’obertures operístiques i composicions del mateix Handy. Fou el primer a incorporar elements de blues -que escoltà de cantants i grups rurals- a música orquestral escrita, tal com ho mostren Memphis Blues (1912) i la cèlebre St. Louis Blues (1914). Els anys vint s’instal·là a Nova York com a editor musical. Interpretà i gravà esporàdicament amb alguns músics de jazz, com ara Jelly Roll Morton (1926). Escriví l’autobiografia Father of the Blues (1941).