Estudià lletres a la Sorbona i fou professor a les universitats de Lilla i Vincennes. Les traduccions de diversos llibres de la Bíblia a partir de l’hebreu (Les Cinq Rouleaux: Le chant des chants, Ruth, Comme ou Les Lamentations, Paroles du Sage, Esther, 1970), així com la seva obra de creació (Dédicaces proverbes, 1972, premi Max Jacob; Légendaire chaque jour, 1979; Voyageurs de la voix, 1986, premi Mallarmé; Nous le passage, 1990; Je n’ai pas tout entendu, 2000; Parole rencontre, 2008) el portaren a reflexionar sobre la poètica i la lingüística i a proposar una teoria que anomenà antropologia històrica del llenguatge, centrada en la noció de ritme i oposada als postulats estructuralistes: Pour la poétique (1970-78), Le signe et le poème (1975), Anthropologie historique du langage (1982), Traité du rythme, des vers et des proses (1998, amb Gérard Dressons), Un coup de Bible dans la philosophie (2004), etc. El 2005 rebé el premi Jean Arp de literatura francòfona pel conjunt de la seva obra.