L’abadia fou fundada vers el 1176 per la família Anglesola amb l’establiment d’una comunitat de monges procedents de Vallbona. Les donacions foren nombroses durant tot el segle XIII i àdhuc es construí un alberg annex al monestir que acollí caminants i pelegrins de pas per l’antic camí ral. Tingué força vitalitat (una abadessa i 12 monges) fins al s XIV, que inicià la decadència. El 1589 l’abat de Poblet li uní el monestir de Vallsanta (Guimerà). S'extingí el 1604, quan l’abat del Císter ordenà la fusió del Pedregal amb la casa de Sant Hilari de Lleida. La rovinada de Santa Tecla (1874) acabà gairebé amb el que quedava. Sota el camí de Tàrrega al Talladell, a l’indret de les Cases del Pedregal, resten alguns murs antics, ara aprofitats per a coberts agrícoles, que són restes de l’antic monestir. És tradició local que les pedres del monestir i del claustre van servir per a refer les muralles de Tàrrega.
De les restes gòtiques de l’església, a la fi del segle XIX hom reféu una petita capella prop de l’emplaçament inicial. Guarda la venerada imatge de la Mare de Déu de la Llet. És una imatge de pedra d’estil romànic tardà que sosté, assegut al braç esquerre, el Nen Jesús, amb una bola del món a la mà dreta. L’ermita del Pedregal fou objecte d’una acurada restauració el 1991.