Debutà acompanyant la cantant Mammie Smith el 1919. El 1922 entrà a formar part de l’orquestra de Fletcher Henderson, on romangué fins el 1934, desenvolupant un estil que tingué una influència fonamental en els saxofonistes i músics de jazz en general. De l’any 1934 al 1939 visqué a Europa, on tocà com a solista a moltes ciutats, acompanyat per grups locals. La millor mostra d’aquesta època són els enregistraments que feu a París amb Django Reinhardt el 1937. El 1939, a Nova York, enregistrà la cançó Body and Soul, que tingué un gran èxit comercial i influí en altres músics, que valoraren el virtuosisme relaxat, la calidesa del so, la riquesa harmònica, l’ús del doble temps i el desenvolupament de motius que aportava. A la dècada següent intentà, sense èxit, fer funcionar una big band. A partir de llavors actuà amb petits conjunts i en gires de Jazz at the Philharmonic, i viatjà per Europa en múltiples ocasions. Dels enregistraments de la seva darrera època es destaca l’àlbum Today and Now (1962).