El poble de Castellserà es troba a 267 m d’altitud, al vessant de migdia de la serra d’Almenara. El lloc fou conquerit a la darreria del segle XI, època en què es degué bastir el castell, integrat al comtat d’Urgell. La primera referència del seu terme apareix en una escriptura datada el 1173 per la qual Guillem Seró, el seu germà Pere i llur mare Ermessenda donaren a l’obra de Santa Maria de la Seu una peça de terra que tenien a la plana d’Alúdia, la qual limitava per una part amb el terminus de Castelsseran.
Al començament del segle XIII era senyor de Castellserà Martí de Vall-llebrera, que es féu enterrar al monestir de Poblet el 1208. L’any 1225 Estefania de Llorenç i el seu marit Ramon feren donació al monestir de Vallbona del lloc i el castell de Castellserà, reservant-se’n l’usdefruit mentre visquessin. Després, sembla que passà a Jaume de Cervera, senyor de Gebut, Butsènit i Meià, casat amb Gueraua de Montcada, el qual va morir l’any 1276. Llur filla, Aldonça de Cervera, senyora de Castellserà, s’emmaridà amb Pere, baró d’Ayerbe, fill legitimat de Jaume I; el seu patrimoni passà després a la corona. El 1307 el rei Jaume II concedí en feu el poble de Castellserà al comte d’Urgell Ermengol X.
L’any 1318 el castell de Castellserà era una possessió de Jaume Desbrau i del seu fill Pericó, els quals van vendre el terme a l’abat de Santa Maria de Poblet, amb totes les rendes i els drets. El domini absolut de Poblet sobre el terme es completà el 1414, any en què Ferran I vengué a l’abat Juan Martínez de Mengucho el mer i mixt imperi de Castellserà. A partir d’aquest moment Poblet esdevingué senyor del castell i la vila fins a l’abolició de les senyories al segle XIX.
No s’han conservat restes de l’antiga fortalesa que presidia el poble de Castellserà.