Tocà professionalment des dels setze anys, i a partir del 1930 ho feu a Nova York, on formà part de les orquestres de Teddy Hill i Fletcher Henderson, entre d’altres. El 1936, a Chicago, fundà la seva pròpia banda; destaca el solo que enregistrà de la interpretació d'After You’ve Gone. L’any 1941 entrà a l’orquestra de Gene Krupa, fet que el convertí en un dels primers negres que entraren en un grup musical de blancs. Eldridge fou el trompetista més innovador de l’anomenat "període swing ". Considerat el pas estilístic següent a L. Armstrong, s’inspirà també en els saxofonistes Benny Carter i Coleman Hawkins. Tingué una notable incidència en l’etapa formativa dels primers músics de bop, especialment en el trompetista Dizzy Gillespie.