Aprengué clarinet i saxo alt a l’escola. Amb aquest últim instrument s’introduí professionalment a Filadèlfia. Per a la seva primera feina important, amb Eddie Cleanhead Vinson (1947-48), s’inicià en el saxo tenor. El 1949 treballà amb Dizzy Gillespie, i el 1952 amb Earl Bostic i Johnny Hodges, una de les seves influències primerenques. Inicià la carrera com a solista el 1955, any que ingressà al quintet de Miles Davis, quan aquest autor entrava en la seva etapa més creativa. Durant els següents cinc anys, ultra actuar amb Davis i un temps amb Thelonious Sphere Monk, es dedicà intensament a gravar discos d’altres músics i alguns de propis. Destaquen Blue Train (1957) i Giant Steps (1959), aquest darrer considerat una fita en la improvisació jazzística per la complexitat i prestesa de les seves harmonies. El 1960 formà un quartet estable, que incloïa el bateria Elvin Jones i el pianista Alfred McCoy Tyner, i començà a tocar el saxòfon soprano com a segon instrument. D’aquesta època data Live at the Village Vanguard (1961). La seva música esdevingué predominantment modal, generada des d’una franca espiritualitat, universalista i en imparable evolució alliberadora. A Love Supreme (1964) és una gran obra d’aquest període, interromput per la seva mort, a causa d’un càncer de fetge, a quaranta-un anys. De la seva discografia també cal esmentar Ascension (1965). El seu virtuosisme instrumental portà la interpretació saxofonística a noves cotes que han quedat com a model. Una de les característiques del seu joc era l’oposició entre passatges ràpids i els sons individualitzats llargs que alternaven amb silencis, amb la qual cosa obtenia un clima d’exaltació. Fou un dels creadors més influents de la història del jazz i les seves interpretacions marquen una etapa cap al free-jazz. Creador d’una escola pròpia, influí sobre nombrosos músics, entre els quals Archie Shepp.