Començà tocant per l’àrea de Detroit amb diversos músics, incloent el seu germà Thad i Billy Mitchell. El 1956 s’establí a Nova York, on tocà i gravà amb J.J. Johnson i Sonny Rollins, entre d’altres. El 1960 entrà en el nou quartet de John Coltrane, cosa que suposà l’inici d’una associació de cinc anys que esdevingué una de les més significatives de la història del jazz. L’any 1966 feu una breu estada a l’orquestra de Duke Ellington, però de seguida continuà treballant amb grups propis, sempre amb músics excel·lents, que actuaren per tot el món durant les dècades següents. El teixit polirítmic de l’estil de Jones representà una de les evolucions més importants del jazz.