Debutà a l’adolescència i durant els anys següents tocà en diverses bandes de la seva ciutat natal. Participà en el primer desenvolupament del jazz, tot destacant com a cornetista. Cap al 1916 conegué, i fou mentor, de l’adolescent Louis Armstrong. El 1918 anà a Chicago i el 1922 liderà la seva formació, la King Oliver’s Creole Jazz Band, als Lincoln Gardens, en la qual Armstrong, que deixà Nova Orleans per anar a Chicago, ocupà el lloc de segon cornetista. La Creole Jazz Band, que començà a enregistrar el 1923, fou una de les orquestres més influents d’aquells anys. L’any 1925, ja sense Armstrong, Oliver reorganitzà la formació, que passà a dir-se Dixie Syncopators, i hi afegí dos o tres saxòfons. Oliver intervingué també en força enregistraments d’altres músics. A partir del 1931 la seva carrera anà de baixa. Els contractes que obtingué no foren tan bons i treballà en orquestres itinerants al mateix temps que la seva salut es deteriorava. Morí en la misèria.