A catorze anys començà a tocar el saxo soprano, i més tard s’especialitzà en el contralt. Arribà a Nova York el 1924 i tocà en les orquestres de Willie The Lion Smith, Sidney Bechet, Chick Webb i Walter Johnson. L’any 1928 entrà a l’orquestra de Duke Ellington, que ja no deixà fins a la seva mort, tret del període 1951-55 en què dirigí un conjunt propi. Fou una de les peces primordials de la música d’Ellington, i enregistrà centenars de temes, entre els quals destaquen Things Ain’t What They Used to Be i Passion Flower, ambdós del 1941.
És considerat, juntament amb Benny Carter, el saxo alt més important de la història del jazz. Es guanyà l’admiració de diverses generacions de saxofonistes pel seu excepcional control del so de l’instrument, i els expressius matisos que n’extreia. El seu estil es caracteritza per la simplicitat i la naturalitat; té una gran capacitat per improvisar i un vibrato càlid i expressiu que li confereix un so inconfusible i molt personal.