Inicià els estudis de piano i saxo contralt de ben petit i el 1946 emprengué els de saxo tenor. A disset anys debutà tocant aquest instrument en orquestres de rhythm-and-blues. Aviat es guanyà una reputació i actuà i gravà amb músics de la talla de Bud Powell, Tadd Dameron, Thelonious Monk i Miles Davis, entre d’altres. El 1955 entrà en el quintet de Clifford Brown i Max Roach.
Es mostrà com un dels millors saxofonistes i improvisadors de jazz i realitzà alguns dels enregistraments més importants de l’època, com ara l’àlbum Saxophone Colossus (1956). Experimentà amb un trio compost a més per contrabaix i bateria, tal com mostren l’enregistrament de la seva composició Freedom Now Suite (1958) o el disc en directe A Night at The Village Vanguard (1957). D’aquesta etapa són també destacables els àlbums Tenor Madness (1956) i Way Out West (1957).
Allunyat de l’escena per a dedicar-se a l’estudi entre el 1959 i el 1961, posteriorment enregistrà, juntament amb músics d’estils diversos, A Fo The Bridge (1962), Our Man in Jazz (1962), On Impulse! (1965), East Broadway Rundown (1966) i la banda sonora del llargmetratge Alfie (Lewis Gilbert, 1966).
A partir dels anys setanta actuà als millors festivals amb músics que desenvolupaven l’estil fusion i li permeteren abordar el rock, el soul, el funk o el calipso. Enregistraments destacables d’aquell període endavant són Next Album (1972), G Man (1987), Falling in Love with Jazz (1989) i This is what I do (2000). En la seva etapa final publicà Without a Song: The 9/11 Concert (2005), enregistrat pocs dies després dels atemptats de l’11 de setembre de 2001 i guardonat amb un Grammy, Sonny, Please (2006) i la sèrie Road Shows, integrada pels volums publicats el 2008, el 2011, el 2014 i el 2016, que aplega enregistraments en directe de diverses etapes de la seva trajectòria.
Ocupà un lloc privilegiat entre els músics de jazz pel domini de l’instrument, la sonoritat, l’expressivitat i el lirisme. Apreciat sobretot com a solista, on uneix una sonoritat potent i una inventiva de gran riquesa, és també un compositor prolífic. Alguns temes seus, com ara Valse Hot, Oleo, Airegin o St. Thomas, són clàssics del repertori be-bop.