Estudià piano i, entre els seus mestres, hi hagué Thelonious Sphere Monk, l’estil pianístic i el llenguatge compositiu del qual l’influïren decisivament. Començà treballant en grups de rhythm-and-blues i després amb músics de be-bop com Ray Copeland i Cecil Payne. D’aquesta època de joventut data l’enregistrament de The Modern Art of Jazz (1956), entre altres àlbums. S’interessà per la tradició musical africana i compongué i gravà l’àlbum Uhuru Africa! (1960), on emprà textos de Langston Hughes i arranjaments de Melba Liston. Al principi dels anys seixanta feu diverses actuacions a Nigèria i el 1967, després d’una gira per Àfrica, s’instal·là al Marroc (1968-73), on fundà un centre cultural. A partir del 1972 feu llargues i freqüents gires internacionals, en grup i com a solista. Fruit d’aquestes gires sorgiren enregistraments com Blue Moses (1972), Nuit Africaine (1974) i Khepera (1998). Diverses composicions seves, sobretot Hi-Fly i Little Niles, esdevingueren models jazzístics. Els seus darrers àlbums foren Ancient Future (2002), Nuit Africa (2004), Zep Tepi (2006) i The Storyteller (2009). Fou guardonat amb dos premis Grammy (1993, 1995).