D’adolescent treballà professionalment a Boston. El 1927 s’instal·là a Nova York i entrà a l’orquestra de Duke Ellington com a intèrpret de saxo alt i clarinet. Les orquestracions d’Ellington demanaven saxòfon baríton i Carney l’adoptà, creant un so i un estil per a aquest instrument ingrat i llavors molt poc desenvolupat. Fou, doncs, el saxofonista baríton per excellència, i una de les veus indispensables del so de l’orquestra de Duke Ellington, on romangué fins el 1974, any de la mort d’ambdós.