Fou un nen prodigi: als sis anys ja actuava en espectacles. El 1934 entrà al grup d’Isham Jones. Dos anys més tard, quan Jones es retirà, fundà la seva pròpia banda de jazz, a la qual els anys quaranta s’incorporaren músics com Neal Hefti i Ralph Burns.
Amb el nom de Herman’s Herd, la banda adquirí reconeixement per la força i originalitat de la seva música. Igor Stravinsky escriví Ebony Concerto (1945) especialment per a la formació. La seva millor època correspon al període 1944-46, en què per l’accent i el swing que tenia era l’orquestra blanca que més s’acostava a les integrades per músics afroamericans.
Superà la crisi de les big bands de la meitat dels anys quaranta i, a partir del 1947, amb la Second Herd, es distingí per la seva secció de saxòfons, coneguda per Four Brothers. En aquest sentit fou pionera en la combinació de tres saxofons tenors i un de baríton. Entre els saxofonistes que destacaren cal nomenar Stan Getz, Al Cohn i Zoot Sims.
Durant les dues dècades següents, Herman mantingué l’orquestra amb excel·lents solistes. A partir dels anys setanta, el repertori de la banda s’orientà cap al jazz rock i seguí treballant per tot el món.