Les notícies més antigues del monestir són del segle X. Té una data anterior un suposat precepte de Carles el Calb atorgat a favor del monestir i en contra del comte Alaric d’Empúries. Segons aquest document, del 844, conservat en una còpia del segle XIII, els germans Libenci i Assinari en temps de Carlemany havien expulsat els sarraïns que ocupaven Castro Tolon (Peralada), i s’apoderaren de tot el seu territori amb les valls i muntanyes de Leocarcari —nom que també es donava antigament a la serra de l’Albera—, on fundaren un monestir dedicat a sant Quirze i sant Andreu.
De l’antic monestir es destaca, per les seves dimensions, l’església basilical. Vora seu hi ha restes d’una altra església, anterior, i hi ha, també, vestigis del claustre i de les dependències monàstiques. A l’esplanada de llevant es conserven restes de fortificació, i cal afegir encara a aquest conjunt monumental l’església romànica de Santa Maria, isolada uns 200 m a ponent d’aquest.
Tot el que resta de l’església vella és un mur, paral·lel a la façana meridional de l’església, que té dues obertures geminades, separades per una pilastra rectangular. Els quatre arcs són de punt rodó i cada obertura té com a mainell una columna cilíndrica amb un senzill capitell trapezial o mensuliforme sense decoració esculpida. A migdia hi ha un edifici força gran, que ha servit de masia fins fa poc, que sembla que era l’antiga casa de l’abat. Aquest edifici abacial pertany probablement als segles XIV i XV, però fou alçat sobre un mur del segle XI. L’església ha estat objecte de diversos treballs de restauració.
A l’esplanada que queda darrere els absis de la basílica hi ha restes de fortificacions que delimiten un recinte que enllaçava amb el conjunt d’edificis monàstics.