Destacà ben aviat a la coral de la seva parròquia per la qualitat extraordinària de la seva veu. A setze anys s’instal·là a Chicago, on el 1930 entrà en un quartet vocal que viatjava per la regió cantant a les esglésies. Malgrat les oportunitats que tingué de cantar gèneres no religiosos, especialment blues, Jackson determinà de no fer-ho. Al principi dels anys quaranta estigué cinc anys fent gires amb el compositor i pianista de gòspel Thomas Dorsey. El 1946 gravà Move on a Little Higher, el primer gran èxit d’aquest tipus de música, que la donà a conèixer arreu. Durant els anys cinquanta feu gires per tot el món actuant en sales de concerts i festivals de jazz. A la dècada següent s’implicà activament en el moviment dels drets civils al costat de Martin Luther King. De vuit cançons seves, entre les quals destaquen I Believe i He’s Got the Whole World in His Hands, es vengueren més d’un milió de còpies. Escriví una autobiografia titulada Moving On Up (1966).