El 1934 entrà al grup d’Isham Jones. Dos anys més tard formà la seva orquestra, a la qual els anys quaranta s’incorporaren músics com Neal Hefti i Ralph Burns. Amb el nom de Herman’s Herd, la banda adquirí reconeixement per la força i originalitat de la seva música. Igor Stravinsky escriví Ebony Concerto (1945) especialment per a la formació. Superà la crisi de les big bands de la meitat dels anys quaranta i, a partir del 1947, amb la Second Herd, es distingí per la seva secció de saxòfons, coneguda per Four Brothers, i on es donaren a conèixer Stan Getz, Al Cohn i Zoot Sims. Durant les dues dècades següents, Herman mantingué l’orquestra amb excel·lents solistes. A partir dels anys setanta, el repertori de la banda s’encarà cap al jazz rock i seguí treballant per tot el món.