Estudià clarinet amb Lorenzo Tío, però, poc després, adoptà el saxòfon tenor. Començà la seva carrera amb diversos grups de Nova Orleans. El 1924 anà a Chicago a treballar amb Joe King Oliver mentre tornava gradualment al clarinet, que es convertí en el seu instrument principal. Del 1928 al 1942 formà part de l’orquestra de Duke Ellington. Durant aquest període desenvolupà un estil molt personal, caracteritzat per un to càlid a tots els registres i una gran fluïdesa en el fraseig. De seguida esdevingué una de les veus més importants de la música d’Ellington, i sobresortí com a solista en moltes gravacions, la més coneguda de les quals és Clarinet Lament. Del 1942 al 1947 treballà amb conjunts propis a Los Angeles i Nova York. El 1947 quedà associat als naixents All Stars de Louis Armstrong, on treballà, amb algunes interrupcions, fins el 1961, actuant per tot el món i deixant gravacions excepcionals. L’any 1962 es retirà parcialment, però sense deixar de participar en concerts, gravacions i festivals tant a Amèrica com a Europa.