Inicià els estudis de piano, violí, percussió i trompeta a partir de sis anys. Del 1932 al 1937 dirigí un sextet a Chicago. Després treballà a les orquestres d’Earl Hines i Horace Henderson, abans d’entrar a la de Duke Ellington el 1940, en substitució de Cootie Williams. Llevat d’una breu interrupció el 1944, Nance romangué amb Ellington fins el 1963 com a trompetista i violinista. Interpretant aquest últim instrument cal destacar-ne els enregistraments Moon Mist (1942) i Come Sunday (1958). Com a trompetista heretà el paper d’especialista en tècnica wa-wa -detingut anteriorment per Bubber Miley i després per Cootie Williams-, tal com es mostra en Take the "A" Train (1941). A partir del 1960 substituí la trompeta per la corneta. Un cop independitzat d’Ellington, continuà treballant i enregistrant discos amb grups més reduïts, com a Just a-Sittin’ and a-Rockin ’ (1970).