Fou amic de Rimbaud i de Verlaine. Escriví poesia lírica alhora ingènua i sensual: Valentines (1886), Doctrine de l’amour (1911). Professor a França i en altres països, fou internat al sanatori de Bicêtre —on compongué Aux saints, la millor de les seves poesies— a causa de les crisis depressives, que, a través d’un misticisme exacerbat, el portaren cap al catolicisme. A la darreria de la seva vida esdevingué captaire.