Durant la seva infantesa estudià piano, clarinet i saxòfon. A partir del 1953 treballà amb Tadd Dameron, Lionel Hampton i Earl Bostic, però la fama li arribà sobretot quan fou membre de la big band de Dizzy Gillespie dels anys 1956-57. Els anys 1958 i 1959 fou director musical del grup Art Blakey and the Jazz Messengers. Després, i fins el 1962, dirigí el sextet The Jazztet. Les dues dècades següents treballà component per al cinema i la televisió. Els anys vuitanta refundà The Jazztet, i més endavant actuà sobretot amb el seu grup Root’s, septet amb quatre saxòfons, mentre dirigia altres formacions de l’estil Jazz Messengers.
Golson és valorat per les seves composicions, moltes de les quals són clàssics del repertori jazzístic. Entre aquestes destaquen Whisper Not, Stablemates, Along came Betty i I remember Clifford.