S’inicià en la música a treze anys tocant el clarinet. El 1940 entrà en l’orquestra de Lionel Hampton, i el 1944 en la de Billy Eckstine, des d’on es projectà com un dels pioners del saxo tenor en l’estil bop. Els primers anys de la dècada dels cinquanta treballà un altre cop a Los Angeles, sobretot amb el també saxo tenor Wardell Gray. L’addicció als estupefaents, però, dificultà la seva carrera durant quasi tota la dècada. Recuperat, visqué a Europa del 1962 al 1976, tocant com a solista acompanyat per músics com Kenny Drew i Tete Montoliu. El 1986 fou l’actor principal del llargmetratge de Bertrand Tavernier Autour du minuit, on representava el personatge d’un músic.
Pel que fa al seu estil característic, Gordon l’anà creant durant els anys quaranta, amb influència de Lester Young, i de seguida es convertí en model dels músics més joves, com ara John Coltrane i Sonny Rollins. En les poques gravacions que feu els anys cinquanta, s’hi pot veure l’empremta de Charlie Parker, però a partir dels anys seixanta es nodrí de diverses fonts, incloent-hi la del mateix John Coltrane, que Gordon sintetitzà en un estil molt personal.