Professional des dels setze anys, als divuit es convertí a l’islam, bé que, a diferència de molts músics afroamericans convertits a l’època, conservà el seu nom de naixement. Les primeres actuacions que li donaren renom foren en el grup d’Art Farmer (trompeta) i Benny Golson (saxòfon tenor) l’any 1959. El 1960 John Coltrane l’incorporà al seu quartet, un dels dos o tres grups de jazz més influents des de la segona meitat del segle XX amb àlbums com My Favorite Things (1961), Africa Brass (1961), Crescent (1964) o A Love Supreme (1965). Paral·lelament, gravà amb altres músics de l’avantguarda del moment per al segell Blue Note, entre d’altres els saxofonistes Wayne Shorter i Joe Henderson i el guitarrista Grant Green. El 1962 publicà Inception, el seu primer àlbum com a líder del propi trio, al qual seguiren, entre d’altres, Reaching Fourth (1963) i Nights of Ballads & Blues (1963). El 1966 abandonà el grup de Coltrane i inicià una prolífica carrera en solitari al capdavant dels seus propis grups, tant en trio com en d’altres que integraven vent i percussió, en els quals renuncià a la instrumentació elèctrica o electrònica i adoptà molt sovint melodies i ritmes africans i llatinoamericans. Títols destacables d’aquesta etapa són The Real McCoy (1967), Enlightment (1973), Trident (1967), Things Ain’t What they Used to Be (1989), New York Reunion (1991) o Infinity (1995). Considerat amb Bill Evans, Herbie Hancock i Chick Corea el més important pianista de jazz postbop , tingué un paper central en el desenvolupament de l’anomenat jazz modal els anys seixanta i setanta, i destacà per la combinació de potència i lirisme i per la dimensió espiritual. Al llarg de la seva carrera guanyà un total de cinc premis Grammy i el 2002 rebé la distinció National Endowment for the Arts Jazz Master.