Les primeres mencions conegudes del lloc i del castell de Ralleu, en plenes Garrotxes del Conflent, són del segle XIII (Araled, 1232; Areleu, 1272; Araleu, 1280; castrum de Areleu, 1282). Al segle XII, la senyoria de Ralleu era, amb les de Conat i de Paracolls, a mans de Guillem Bernat de Paracolls (1173-1235), espòs de Blanca de Conat. Llurs filles, Sibil·la de Paracolls i Esclarmunda de Conat, heretaren el domini i el transmeteren a llurs esposos, Xatbert de Barberà i Ramon d’Urtx. A la mort d’aquest darrer, el 1305, els seus marmessors cediren al rei la seva part del castell de Ralleu per 40 000 sous. El mateix passaria a la mort del fill de Xatbert de Barberà i de Sibil·la de Paracolls, el qual vivia encara per l’abril del 1281, i signava, com el seu avi matern, amb el nom de Guillem Bernat de Paracolls. Degué morir abans del 1293.
Nogensmenys, una part del delme de Ralleu i del vilar de Bordoll havia estat infeudada, al segle XIII, a dues famílies dites Ralleu (Ramon de Ralleu, 1232) i Bordoll (Arnau de Bordoll, 1263).
El 18 de setembre de 1341, el rei Jaume III de Mallorca concedí a Joan, vescomte d’Évol, la fruïció vitalícia de tots els rèdits de Ralleu i, el 4 de gener de 1343, la propietat del castell de Ralleu i dels drets i els feus que en depenien. Però, el 1364, el castell i lloc de Ralleu, amb el mer i mixt imperi, foren finalment cedits a Pere Blan, de Perpinyà. A la fi del segle XIV, el castell amb el seu terme passaren a la branca primogènita de la família Oms i foren annexats a la baronia de Saorra. Més tard, tots els béns i els drets d’aquesta branca —que estava retirada a Barcelona des del tractat dels Pirineus— foren confiscats per Lluís XIV (1682) i venuts, l’any 1687, al noble francès Clément de Boisambert. Aquest, tot accedint als precs dels habitants de Ralleu, els autoritzà a construir una nova església parroquial en l’indret del castell, que era en ruïnes, tot aprofitant-ne les parets i el recinte. Els veïns ja havien edificat llurs cases després de l’incendi del poble primitiu per part dels hugonots francesos, a mitjan segle XVI, entorn de l’antiga fortalesa.