De jove tocà la viola en diverses orquestres simfòniques de Denver i San Francisco. Durant la Primera Guerra Mundial dirigí una orquestra militar de quaranta instrumentistes que, a més de marxes, tocava música de ball. Lque formà el 1918 tingué un gran èxit discogràfic, sobretot amb Whispering (1920), i el seu estil orquestral passà a ser imitat tant als Estats Units com en altres països. L’any 1924 l’orquestra estrenà Rhapsody in Blue, que G. Gershwin havia escrit per encàrrec del mateix Whiteman. Del 1928 al 1952 la banda prengué part en espectacles radiofònics i pel·lícules, com King of Jazz (J.M. Anderson 1930), feu la música per a sis espectacles de Broadway i enregistrà més de 600 peces. Whiteman ocupà un lloc important en el desenvolupament de la música nord-americana per conrear l’estil que s’anomenà més tard jazz simfònic.