S’inicià en la trompeta a onze anys, i el seu primer contracte important fou amb Willie Bobo, el 1963. També tocà i gravà amb Eric Dolphy. El 1964 s’establí a París, on treballà sobretot amb el grup de Nathan Davis. Novament als Estats Units, entrà al grup d’Horace Silver i més tard treballà al costat dels millors solistes de l’època, entre els quals destaquen Larry Young, amb qui enregistrà Unity (1965), Art Blakey i Bobby Hutcherson. A partir del 1970 començà a gravar amb el seu nom. Entre els enregistraments d’aquesta època cal esmentar The Moontrane (1974) i United (1981). Formà una banda amb la qual acompanyà Dexter Gordon al final dels anys setanta. Shaw fou un dels millors solistes i un músic de jazz de referència de la seva generació.