Fou establert el 1461, al lloc que ocupà fins aleshores la comunitat femenina de Santa Maria de Valldaura, traslladada el 1398 de Valldaura del Berguedà. El 1465 aquest monestir, situat prop del portal d’Urgell, fou destruït amb motiu de la guerra civil; per això el rei Joan II li cedí, el 1472, la casa hospital de Sant Pau, situada al peu de la ciutat, a l’altra riba del Cardener, ocupada fins aleshores per un grup d’ermitans o donats que hi constaven des del 1300. Aquest priorat, que arribà a disposar d’un màxim de cinc monjos i un prior, nomenat per l’abat de Poblet, subsistí fins el 1700, que fou cedit als jesuïtes, que l’ocuparen fins l’any 1767. Després passà a mans particulars. Li restà només l’església, del s XIV, on es venerà inicialment la Mare de Déu de l’Alba.