Començà a actuar a dotze anys i quan en tenia divuit inicià la seva carrera en espectacles itinerants pel sud dels Estats Units interpretant sobretot música pop. Molt aviat incorporà el blues al seu repertori. Quan el 1923 enregistrà per primera vegada ja era molt coneguda, i en cinc anys gravà més de cent cançons, entre les quals destaquen Bo-weavil Blues (1923), See See Rider (1923) i Ma Rainey’s Black Bottom (1927). Realitzà molts dels enregistraments acompanyada d’instrumentistes de jazz, com ara Tommy Ladnier, Louis Armstrong i Coleman Hawkins. També feu diverses gravacions amb jug bands, duos de guitarra i músics de blues, com Tampa Red i Blind Blake. Rainey fou, juntament amb Bessie Smith, la pionera del blues vocal femení i la cantant més influent de la seva època.