Des de la segona meitat del segle XI, existia una fortalesa a Sant Esteve dita “castell de Sant Esteve del monestir” (Castellum S. Stephani monasterii), per la qual van prestar homenatge Guillem Bernat de Montesquiu i la seva esposa Garsenda, germana del comte Guislabert, al comte de Rosselló Guislabert II (1074-1102); els mateixos personatges prestaren homenatge al també comte de Rosselló Girard I pel mateix castell, el 1105 i el 1109; i encara els seus descendents al comte Gausfred III (†1164) i al comte Girard I el 1164. Aquesta família de Montesquiu (dita també de Santcristau), conservà el feu de Sant Esteve sota els reis d’Aragó. El 1298, sota Jaume II de Mallorca, el feu havia retornat al domini reial, del qual fou alienat el 1357 per Pere IV el Cerimoniós a favor del seu conseller Francesc Romà, els descendents del qual el posseïen encara a la fi del segle XIV. El 1441 era a mans de Pere Castelló, burgès de Perpinyà; passaria dels Castelló als Gleu el 1535, i d’aquests a Joan Francesc de Pagès, espòs de Rafela Guiomar de Gleu el 1570. El 1651, Antoni Generes, burgès de Perpinyà, era senyor de Sant Esteve i transmeté la senyoria al seu fill Domènec, el qual la posseïa encara el 1682. Al segle XVIII, fou adquirida per la família de Sant Marçal, l’hereva de la qual, Maria Àngela, esposa del marquès Joan Esteve de Blanes, fou senyora de Sant Esteve del 1766 fins a la Revolució Francesa. Fet excepcional, les seves possessions de Sant Esteve foren restituïdes, sota la Restauració, al seu renebot Carles de Sant Víctor.