Començà a tocar amb els germans Montgomery, a Indianapolis. L’any 1958 es traslladà a Nova York, on s’associà amb els músics hard-bop que enregistraven sobretot per al segell Blue Note. Col·laborà, entre d’altres, amb els Jazz Messengers d’Art Blakey, (1961-66) amb Philly Joe Jones, Sonny Rollins, Slide Hampton i Quincy Jones. El 1960 enregistrà el seu primer disc, Open Sesame, que el situà entre els primers trompetes de jazz d’aquest estil, juntament amb Lee Morgan, Miles Davis i Clifford Brown. Paral·lelament als propis títols, col·laborà sovint amb l’avantguarda del jazz dels anys seixanta, especialment amb John Coltrane, Eric Dolphy, Ornette Coleman, Oliver Nelson, Herbie Hancock i Wayne Shorter. A partir dels anys setanta cercà un públic més ampli, i incorporà en els seus àlbums elements del jazz-rock, el funk o, fins i tot, el pop. En 1977-79 formà part del quintet VSOP, sota la direcció de H. Hancock que incloïa quatre membres del conjunt de M. Davis dels anys seixanta, amb el qual enregistrà tres àlbums notables. A partir dels anys vuitanta retornà en part al seu estil original, i alternà sovint la trompeta amb el fiscorn. Des del 1992 un accident als llavis l’impedí durant molts anys tocar al mateix nivell que anteriorment. Destacà per la tècnica impecable, gràcies a la qual articulava passatges rapidíssims amb una gran precisió, una sonoritat clara i una flexibilitat que li permetia interpretar en una gran diversitat d’estils. A més dels àlbums esmentats, entre altres sobresurten Ready for Freddie (1961), Hub-Tones (1962), Breaking Point (1964), Blue Spirits (1965), Backlash (1966), Red Clay (1970), First Light (1971, guardonat amb un Grammy), Keep Your Soul Together (1973), Outpost (1980), Sweet Return (1983), Double Take (1985),amb Woody Shaw, i New Colors (2001).