Tocà el piano i instruments de vent des de la infantesa i, ja d’adolescent, escriví alguns arranjaments. El 1946 entrà a l’orquestra de Gene Krupa com a arranjador. S’especialitzà en saxòfon baríton i s’associà al naixent moviment cool-jazz. Treballà en diverses formacions, de les quals cal remarcar el nonet de Miles Davis al final dels anys quaranta. El 1952 s’instal·là a Los Angeles i formà un quartet amb el trompetista Chet Baker, un contrabaix i un bateria. L’absència d’instrument harmònic permetia als instruments de vent improvisar en contrapunt. La fórmula tingué èxit i llançà les carreres de Mulligan i Baker. Durant els anys seixanta i setanta fou un actiu col·laborador d’altres grups i també de Dave Brubeck, i liderà, de manera esporàdica, una big band.