L’ordenà construir Ramon Folc de Cardona-Anglesola, baró de Bellpuig i comte d’Oliveto, quan era lloctinent de Sicília. Erigit sobre un antic eremitori dedicat a sant Bartomeu, es fundà el 1507 i tingué diferents etapes constructives. Sembla que al començament es planejà una obra senzilla i austera, però el lloctinent, des d’Itàlia, manà d’augmentar les dotacions. Aquest edifici conventual és de planta rectangular i s’organitza a l’entorn de dos claustres centrals. El menor, situat prop de l’entrada, és de dos pisos, d’estil gòtic, amb arcs apuntats a la planta baixa i una galeria d’arcs de mig punt al primer pis. El segon claustre, o pati de la cisterna, presenta una galeria baixa amb quatre arcs apuntats per banda, amb volta de creueria que descansa sobre uns contraforts desproporcionats que donen al pati. Dels contraforts broten pinacles eriçats de frondes, coronats amb floró, que defineixen el nivell de la segona galeria. Els quatre pinacles d’angle sobresurten fins a la cornisa que tancava inicialment l’alçada del pati. La tercera galeria, d’ordre toscà, amb arcs rebaixats sobre columnetes estriades i balustres, més un ràfec de gran voladís, fou erigida el 1614. L’element més notable és sens dubte la segona galeria esmentada, que gairebé no té precedents a Catalunya, i a propòsit de la qual s’ha parlat d’influències castellanes o portugueses, tot i que podria haver estat obra d’un mestre de la Itàlia meridional. Les columnetes helicoidals continuen el moviment pels arcs, i els capitells, tots diferents, són esculpits amb motius vegetals, animals i figures humanes.
La sala capitular conserva a la clau de volta l’efígie dels primers ducs de Somma. L’escala al campanar és de caragol sense eix (els graons formen un passamà de moviment helicoidal). A l’exterior hi ha alguns elements renaixentistes del final del segle XVI, com la llotja toscana de la façana de llevant, coneguda com el mirador del duc, com també algunes finestres. A la sagristia hi ha una notable porta de pedra de l’armariet dels calzes, ornada amb pinacles i un gran floró central, d’estil gòtic florit (segle XVI). Al refetor hi ha el lavabo o font dels lleons, d’estil plateresc, ornat amb pinacles i floró.
El 1531 era ja acabat i emplaçat a l’església del convent el magnífic mausoleu de Ramon Folc, que féu construir la seva muller Elisabet de Requesens, comtessa de Palamós. El mausoleu, fet per l’artista italià Giovanni Merliano da Nola, fou traslladat el 1841 a l’església parroquial de Sant Nicolau, on es conserva ara, després d’ésser restaurat i declarat monument nacional el 1940.
Inicialment residiren al convent 25 religiosos, i s’hi celebraren alguns capítols provincials. Després de l’exclaustració (1835) i d’un llarg abandonament i ruïnes s’hi instal·laren els pares paüls el 1899, que restauraren el convent i reedificaren l’església entre el 1903 i 1906. Per decret de 17 de desembre de 1984 el convent fou declarat monument historicoartístic de caràcter nacional per la Generalitat. Entre l’octubre de 2007 i el juny de 2008 hom restaurà la façana, la terrassa del mirador del duc i els finestrals. En aquests treballs homrecuperà també els fonaments i deixà al descobert les restes de l’església original.