La població de Pau, situada aleshores a la riba de l’estany de Castelló, ja surt esmentada l’any 982. El 1256, és mencionada una parròquia de Sant Martí de Pau. Si bé el castell no surt esmentat directament abans de l’any 1300, sí que hi ha nombroses notícies dels senyors d’aquest lloc, que arribaren a tenir una certa importància. Segons Armand de Fluvià, al segle XI hi ha documentat un Berenguer, que fou succeït pel seu fill Guillem. L’any 1128, un Guillem Ramon de Pau (“Pauo”) figura en un document relacionat amb el comte d’Empúries. Aquest senyor apareix en altres escriptures dels anys 1130 i 1138, conservades al Liber feudorum maior. El 1154 apareix, així mateix, en un document relacionat amb el comte d’Empúries, un Guillem de Pau (sembla que el nom Guillem era molt usual en aquesta família). L’any 1285, segons Pella i Forgas, el senyor de Pau es passà al bàndol francès. L’any 1284, Bernat de Pau s’havia casat amb Guillema d’Oms. Encara l’any 1320 hi ha un Guillem de Pau que fa homenatge al bisbe de Girona per uns delmes de la parròquia de Sant Martí de Pau. Bernat II de Pau es casà amb Sibilla de Llupià i, després, amb Guillema de Sagarriga; féu testament l’any 1361. El seu fill Pere es casà amb Elisenda de Palol. A la baixa edat mitjana, els Pau tingueren un paper al costat dels reis catalans. L’any 1524, Francesca de Rocabertí heretà la baronia de Pau de la seva mare Beatriu de Pau. Cal pensar que aquests senyors ja a l’alta edat mitjana devien tenir un castell, o una casa forta, a la població de Pau, el qual, segons Pere Català, era situat a Can Marquès, edifici proper al temple parroquial i que, en una bona part, pot ésser datat als segles XVII i XVIII.