El lloc de Celrà és esmentat des del segle X (villare de Celrano, 977). El seu castell (rochia de Celra, 1046) no fou comprès dins la donació d’Orellà de la comtessa Guisla a Sant Martí del Canigó del 1018. El 29 de juny de 1340 el castell fou infeudat per Jaume III de Mallorca al vescomte d’Évol, que el detenia encara el 1383. Més tard, però, l’abat del Canigó adquirí tots els drets jurisdiccionals d’Orellà i de les seves dependències, inclòs Celrà.
Resten alguns minsos vestigis del que fou el castell, avui desaparegut, prop de l’església de Santa Cecília de Celrà. A. de Pous (1974, pàg. 207) deia de la fortificació de Celrà que “a una hora de camí, si fa no fa, més amunt d’Orellà, hom troba els fonaments d’una construcció de planta rectangular, els murs de la qual tenen un gruix d’1,10 m i tenen diverses filades d’opus spicatum […]”.