La primera referència escrita que tenim del castell de Seròs data de l’any 1120, concretament en el document de convinença feta entre l’alcaid de Lleida ibn Hilgl i el comte de Barcelona Ramon Berenguer III. La seva conquesta s’ha d’associar amb l’inici del setge feudal sobre les ciutats de Lleida i Fraga l’any 1149. A l’agost d’aquest mateix any, un mes abans de la caiguda de les ciutats de Lleida i Fraga, el comte Ramon Berenguer IV fa esment d’una possible conquesta anterior: “quod si ego recuperavero ipsum castrum de Seros ”. Més endavant, i segons un document del 1154, el lloc de Seròs serví de refugi als musulmans vençuts a Siurana. De fet, la comunitat musulmana fou majoritària en aquest sector del Baix Segre durant tota l’edat mitjana.
Amb la conquesta, el castell de Seròs passà al domini del comte de Barcelona Ramon Berenguer IV. Seròs s’utilitzà sovint com a peça de garantia de diverses penyores: l’any 1168 el rei Alfons el Cast acceptà de l’orde del Temple la quantitat de 5 000 morabatins, deixant com a penyora els castells de Seròs i Ascó; l’any 1181, el mateix rei concedí al monestir de Santes Creus 140 morabatins procedents de les rendes de Seròs; l’any 1204, el rei Pere I tornà a empenyorar als templers el castell de Seròs per 1 000 morabatins. Finalment Pere I, en donar la seva filla Constança en matrimoni a Guillem Ramon de Montcada, li concedí com a dot els castells de Seròs, Aitona i Soses (1212). Aquesta carta de dot fou confirmada per Jaume I l’any 1233. D’aleshores ençà el lloc de Seròs s’integrà a la baronia d’Aitona (més tard comtat i marquesat), amb centre a Aitona i Seròs. A la mort de Teresa de Montcada i de Benavides l’any 1756, Seròs, com tot el marquesat, passà a mans dels ducs de Medinaceli, que van conservar el domini d’Aitona i Seròs fins l’abolició de les senyories (1835). (XEC)
El castell de Seròs s’aixecava en un tossal allargat que domina el poble de Seròs, indret on es veuen vestigis d’un mur perimetral, el qual devia tancar alguns habitatges bastits amb pedra i tàpia; igualment en superfície es pot apreciar l’existència de ceràmiques datables a la segona meitat del segle XI i a la primera del segle XII. (JIR)