A la primera meitat del segle XII vivia Guerau de Rupià, que signà, l’any 1128, un document comtal, relacionat amb la revolta del comte Ponç II d’Empúries. Quan el comte d’Empúries es tornà a revoltar, deu anys més tard, apareix novament esmentat aquest Guerau de Rupià. Sembla que aquest senyor havia perdut uns drets arran de la revolta del comte empordanès. El document del 1138 diu que “Gerallus de Rupiano recuperet suum alodium de villare Sancti Mathei”. En aquest moment de guerra, s’havia produït un enfrontament entre Guerau i un tal Bernat Guifre, que havia motivat aquesta pèrdua. En un document del 1235, segons J. Botet i Sisó, apareix documentada una Adala (o Adelaida) de Rupià, mare de Guillema de Rupià. El primer document en què surt esmentat el castell de Rupià (castrum de Rupiano), és de l’any 1220. L’any 1268 el bisbe de Girona, Pere de Castellnou, adquirí aquest castell per 24 000 sous a Guillem de Rupià. Cal pensar, però, que ja abans del segle XIII hi devia haver en aquest lloc una fortificació o casa forta on visqué, per exemple, Adala de Rupià o fins i tot el mateix Guerau de Rupià. Durant la segona meitat del segle XIII ja hi ha força documents que parlen del castell de Rupià. L’any 1314, el bisbe de Girona adquirí el terme de Parlavà, que restà annexat a la senyoria de Rupià. També era molt unida al terme del castell de Rupià la parròquia de Santa Eulàlia d’Ultramort. L’any 1329, fou fet un inventari dels béns mobles del castell de Rupià, publicat per Lluís Batlle i Prats. Hi són esmentats una cambra superior, una altra cambra, una recambra, un estable, un rebost, una cuina, un lloc per a les tines i un celler. En totes aquestes cambres hi ha, sobretot, caixes, bancs, capçals i paraments de llit. A la cuina hi havia taules, una pastera, un gran cairat de fusta, uns ferros, una llossa, una paella, un morter de pedra i un de fusta de boix, etc.; al celler hi havia bótes i altres recipients. Malgrat el caràcter “pacífic” del castell, al rebost hom trobà “duos ferres de preson”. Segons Joan Badia, el castell primitiu s’estenia per una bona part de l’espai situat dins el recinte de muralles de Rupià de la baixa edat mitjana. Actualment, segons aquest autor, el circuit que formen la plaça d’Avall, el carrer Ample, el carrer de Sant Esteve i el carrer dels Xifrers assenyala el perímetre del castell. El castell palau que ha arribat fins a l’actualitat, molt modificat, és una construcció del segle XIV o el XV. D’altres vestigis del castell deuen haver restat amagats enmig de les cases actuals.