Tocà en una banda de rhythm-and-blues, i a partir del 1951 ho feu amb Max Roach, amb qui enregistrà diversos temes. El 1954 fou un dels fundadors dels Art Blakey’s Jazz Messengers, on romangué fins el 1956. Després gravà discos amb el seu nom, com ara Soul Station, i col·laborà amb diversos músics, entre els quals cal destacar Miles Davis, durant el període 1961-62. Seguí tocant i gravant fins el 1970, any en què reduí l’activitat per motius de salut. Amb un so i fraseig molt personals, Mobley fou un dels millors músics del hard-bop, i té un lloc destacat entre els saxofonistes tenors del jazz.