El castell primitiu es bastí a l’extrem est, acabat en un agut esperó i envoltat de muralles amb torres semicirculars a la banda nord, on hi ha la torre, l’església i altres construccions (segles XI-XIII); segueix un segon cos murat molt ampli, amb esplanada, i un tercer recinte, al punt més alt, dit castell de Sant Jordi, amb església i residència, obra del segle XIII. El lloc fou conquerit per Oliba Cabreta de Besalú, que hi edificà un primer castell vers el 980; al principi del segle XII passà als comtes de Barcelona, que el reedificaren i feren consagrar l’església el 1115. El 1258 el castell passà al rei de França, que edificà el castell de Sant Jordi i hi posà guàrdia permanent, mentre els antics senyors de Perapertusa es retiraven al Rosselló.