Estudià piano i percussió i fou alumne de Cozy Cole. Sid Cat lett i Max Roach influïren també sobre el seu estil. Tocà amb diversos músics, però la seva carrera no esdevingué significativa fins que s’uní a Tadd Dameron el 1953 i a Miles Davis dos anys després. Fou en el quintet d’aquest últim on Jones exercí tot el seu potencial, i durant tres anys realitzà una sèrie de gravacions que resten entre les més importants i influents de la història del jazz. Del 1967 al 1972 visqué a Europa, i després tornà a Filadèlfia per a formar el grup de jazz-rock Le Grand Prix. Al principi dels anys vuitanta liderà el grup Dameronia. L’estil de Philly Joe Jones, màxima expressió de la bateria be-bop tant per l’acompanyament incisiu com per la melodiositat dels solos, s’ha mantingut com a referència bàsica en les dècades posteriors.