El monestir fou erigit vers l’any 785 per Castellà, monjo emigrat de terres ocupades per musulmans. Primer fou establerta en uns antics banys termals d’època romana (els Banys d’Arles) i es titulà Santa Maria de Vallespir. Obtingué diversos preceptes carolingis d’immunitat entre els anys 820 i 881. L’any 858 l’abadia fou saquejada per pirates normands i pels sarraïns. Al començament del segle X abandonà els antics banys i hom l’establí a l’indret actual. A l’època comtal fou molt afavorida pels comtes de Cerdanya i de Besalú. A mitjan segle XI tingué una etapa de crisi per les rivalitats dels senyors veïns; el comte Bernat II de Besalú intentà de remeiar-ho unint-la, l’any 1078, a l’abadia occitana de Moissac. La unió durà quatre segles. L’any 1592 fou unida a la Congregació Claustral Tarraconense, de la qual se separà a la darreria del segle XVII, quan el Vallespir ja havia estat annexionat a França. L’any 1592 hom li uní Sant Andreu de Sureda, unió que durà fins l’any 1734. Fou secularitzada durant la Revolució Francesa; l’església restà com a parroquial de la vila d’Arles. Diversos priorats depenien de l’abadia d’Arles.
L’església actual fou renovada entre els anys 1141 i 1157, aprofitant part de l’edificació anterior. És una basílica orientada a ponent, però amb doble capçalera, que guarda la disposició de l’església, consagrada l’any 1046. Té un interessant timpà esculpit, del segle XI, d’inspiració bizantina; a l’exterior i prop de la porta d’entrada hi ha un sarcòfag cristià, probablement del segle V, anomenat la Santa Tomba, per tal com, segons la llegenda, guardà durant un temps els cossos de sant Abdó i de sant Senén (la pietat popular hi ha volgut veure fets extraordinaris relacionats amb la presència d’aigua al seu interior). Damunt el sarcòfag hi han estat incrustats els elements escultòrics d’una interessant tomba del segle XII. A l’interior de l’església foren descobertes, el 1954, pintures romàniques semblants i de la mateixa època que les de Sant Martí de Fenollà. A la capella de sant Abdó i de sant Senén hi ha un gran retaule de fusta daurada, del segle XVII, on hi ha els busts reliquiaris dels sants, obra de Miquel Alerigues (segle XV). La llegenda de la translació a Arles dels cossos dels dos sants, recollida el 1591 per Miquel Llot de Ribera (Llibre de la translació), atribueix a les gestions fetes a Roma per un abat Arnulf, a la fi del segle X, la presència al monestir d’aquestes relíquies. El claustre és gòtic, de la fi del segle XIII; al seu voltant es conserven les restes del palau abacial i d’altres dependències.