Les minses restes d’aquest castell, un dels més antics del Conflent, són al cim del turó conegut com la Roca de Pomers, que domina l’antiga capella castral de Sant Esteve, esdevinguda ermita, que es troba al seu vessant de ponent. D’aquesta antiga fortalesa refugi, apartada de tota via de comunicació, avui només resten visibles els fonaments d’una torre quadrada. Fou un castell de domini comtal des del segle IX. El seu terme castral es corresponia a l’antic terme de Villerac. El primer esment és de l’any 865, en què Salomó, comte de Cerdanya i Conflent, tingué un plet dins l’església del castell de Sant Esteve de Pomers relatiu a la propietat per part del monestir de Santa Maria de la Grassa de la villa de Prada i del vilar de Mata, dins la vil·la de Prada, que el comte posava en dubte. Posteriorment hi ha moltes altres referències al castell (1068, 1095, 1109, 1124, 1173). Els comtes de Cerdanya de la dinastia guifrediana l’infeudaren, al segle XI, als vescomtes de Fenollet, els quals el detenien encara, per Alfons I de Catalunya-Aragó, el 1173. Aquest any apareix amb la denominació castrum Sancti Stephani de Bellerach.
La senyoria del castell de Sant Esteve i del terme de Villerac passà més tard a la família senyorial dels Enveig, després a la família Oms (vers el 1560) i al final del segle XVI a la família Llupià. Després del tractat dels Pirineus depengué successivament dels Caramany, els Boisambert i els Vilar, els quals el posseïen al moment de la Revolució Francesa.