El castell sembla d’origen romà i és esmentat, juntament amb el de la Clusa, el 673, durant la revolta del duc Pau contra Wamba, que fou pres pel rei. El 1100 és esmentada la capella del castell (Santa Maria d’Oltrera); al s XIII n'era capellà major l’ardiaca del Vallespir i hom li assignà els drets senyorials del lloc de la Pava. A la baixa edat mitjana, el castell formà part de la senyoria de Sureda. Fou destruït, juntament amb la capella, el 1675 per les tropes franceses. El 1681 fou construït, a l’oest de les restes del castell, al vessant espadat del turó, un nou santuari de la Mare de Déu del Castell, amb un hostal; el portal romànic, esculpit, de l’antiga capella (dita des d’aleshores la Mare de Déu Vella) hi fou traslladat.