Debutà el 1900. Aviat es destacà amb els conjunts Eagle Band i la seva pròpia Magnolia Band. Passà a Chicago, on creà la King Oliver's Crede Jazz Band amb L.Armstrong com a segona trompeta, que actuà per tots els EUA. El 1925 creà l’orquestra Dixie Syncopators; dissolta aquesta, enregistrà alguns discs (1928) i es retirà. Fou un dels primers a introduir la improvisació en les interpretacions.