A mitjan segle XIII hi havia a l’indret una capella, situada sota la cova on segons una tradició totalment imaginària feu penitència Guillem I d’Aquitània. S'hi establí un convent de frares augustinians vers el 1340. Posteriorment, fou convent de carmelitans calçats i de franciscans.