Es crià a Alabama, on, d’adolescent, treballà com a instrumentista i ballarí de claqué. Al final dels anys vint s’incorporà als Blue Devils de Walter Page, i el 1934 entrà en l’orquestra de Count Basie, on romangué fins el 1948. Després prosseguí la seva carrera com a independent, fent força gires per Europa fins a la meitat dels anys setanta, amb músics com Coleman Hawkins, Milt Buckner i Teddy Wilson, entre molts d’altres. Participà en nombroses gravacions d’altres artistes i algunes en nom propi, entre les quals cal destacar l’àlbum The Jo Jones Trio (1959). Jones, conegut com a ’Papa Jo', fou un dels bateries més influents del món del jazz. Introduí el legato en l’acompanyament, mitjançant l’ús del pedal xarleston, els plats suspesos i les escombretes. Els seus solos, amb força reminiscències de la dansa claqué, prefiguraren els estils posteriors.