Estudià piano des de petit i durant l’adolescència s’inicià en l’orgue. Començà treballant en alguns grups de rock and roll i aviat gravà els seus primers discos d’orientació jazzística, com ara Testifying (1960). Durant els anys següents enregistrà alguns dels seus millors discos (Into Something!, Unity) amb formacions que incloïen Grant Green, Woody Shaw i Elvin Jones. Gravà piano elèctric amb Miles Davis a Bitches Brew (1969) i formà part del grup de jazz-rock Lifetime, liderat per Tony Williams. Gravà per a Jimi Hendrix, John McLaughlin i Carlos Santana i realitzà discos sota el seu nom, com per exemple Lawrence of Newark (1973), abans de la seva mort per pneumònia. Young fou un organista molt original, tot desmarcant-se de la forta influència de Jimmy Smith en aquest instrument. El seu estil evolucionà constantment i la seva obra ha estat més valorada després de la seva mort que en el seu temps.