Contribuí als inicis del primer desenvolupament del jazz. Debutà el 1900 i durant els anys següents tocà en diverses bandes de la seva ciutat natal.Aviat es destacà com a cornetista amb els conjunts Eagle Band i la seva pròpia Magnolia Band. Cap al 1916 conegué, i fou mentor, de l’adolescent Louis Armstrong.
El 1918 anà a Chicago i creà la King Oliver's Creole Jazz Band amb L. Armstrong com a segona trompeta. El 1922 liderà la seva formació, als Lincoln Gardens. La Creole Jazz Band, que començà a enregistrar el 1923, fou una de les orquestres més influents d’aquells anys.
L’any 1925, ja sense Armstrong, Oliver reorganitzà la formació, que passà a dir-se Dixie Syncopators, i hi afegí dos o tres saxòfons. Oliver intervingué també en força enregistraments d’altres músics, però la formació es dissolgué al cap de pocs anys.
A partir del 1931 la seva carrera anà de baixa. Els contractes que obtingué no foren tan bons i treballà en orquestres itinerants, al mateix temps que la seva salut es deteriorava. Morí en la misèria.