Aquest castell era situat on avui hi ha el poble de Torres de Segre. De les antigues construccions no en queda rastre. El lloc és esmentat per primera vegada en el testament sacramental de Guillem Dalmau de Cervera de 1133, abans, doncs, de la conquesta de Lleida. Guillem Dalmau deixà el castell de Torres en alou al seu nét Guillem. Segons el discutit document dels Termini antiqui civitatis Ilerde, Torres formava part de l’antic districte de la ciutat de Lleida. L’any 1153, Guillem de Cervera donà a Santa Maria de Poblet una terra in termino llerda, in loco ubi dicitur Torres. El 1173, el mateix Guillem de Cervera reconeixeria haver sostret il·lícitament els delmes de Castelldans, Gebut, Juneda, el castell de Torres et omnium castrorum, almuniarum eorum que ibi fuerit. A l’agost del 1227, Ramon de Cervera vengué el castell de Torres als mercaders de Lleida Hug de Tolosa, Pere Clavell i Guillem Hug de Blumat per 9 000 morabatins. L’any 1250, Guillelma, filla d’Hug de Tolosa i muller d’Arnau d’Artesa, feia testament establint com a hereu el seu fill Arnau.
La part de Torres corresponent a Guillem Hug de Blumat fou venuda per Ferrer de Blumat a Constança de Montcada, casada amb el comte d’Urgell Alvar. L’any 1272, Constança la va tornar a vendre a Martí de Vall-llebrera, representant de Jaume de Sarroca, bisbe d’Osca, que l’any 1289 faria testament atorgant als templers de Gardeny els drets sobre el castell, en canvi de pagar anualment a Poblet 3 000 sous jaquesos. Els templers hi establiren aleshores la sotscomanda templera de Torres de Segre, dependent de la de Gardeny, de la qual es tenen escasses referències històriques. Tot i això, se sap que l’any 1293 signaren una concòrdia el comanador templer de Torres i l’hospitaler de Sudanell per a regular l’aigua d’una sèquia del Segre amb l’objectiu d’amarar els llins. Amb la desaparició de l’orde del Temple l’any 1317, la sotscomanda de Torres revertí als hospitalers. L’any 1357, i amb motiu de les guerres amb Castella, el rei Pere el Cerimoniós vengué a l’orde de l’Hospital els imperis i jurisdiccions que conservava a diversos castells, entre aquests els de Torres. A l’abril del 1377, el lloctinent del gran prior de Catalunya fortificà el lloc i castell de Torres.
L’any 1660, el comanador Francesc Anglada manifestava que Torres havia tingut un castell “que vuy tot està ab un mun per causa de les guerres del Principat, y a la obra del qual castell los poblats del present lloch estan obligats a les barbecanes, la cistella y teulades, ço és a tirar la manobra y servir als manobres a ses propies despeses y també són obligats a fer los valls de la vila”. L’any 1894, Madoz esmenta una “cárcel establecida en un departamento de la casa castillo, propia del señor del pueblo”. Encara avui, vora el riu Segre, es poden veure restes del castell als fonaments d’algunes cases. (XEC)
Al sud-oest de la població de Torres, des d’on es domina el riu Segre, hi ha el castell actual. Es tracta d’una construcció bàsicament residencial que va ser edificada pels hospitalers durant els segles XVII i XVIII, segons testimonien les dates existents en la clau d’una porta dovellada que dóna a l’est i on es veu la creu de l’orde de l’Hospital amb la data de 1749. A la dreta, en una casa veïna molt reformada, hi ha l’escut del comanador Guillem Brondó, on es llegeix l’any 1683. Segons J. Fuguet, aquestes dues construccions encara es troben en la situació original de la vella fortalesa templera, la qual devia disposar-se al voltant d’un pati, com a la comanda de Barbens, que es deu correspondre amb l’actual plaça del Castell. El tram de muralla conservat al sud i que correspon al carrer de la Muralla sembla també obra moderna, si bé a dalt de tot presenta dues filades de carreus de mòdul quadrat (40 × 50 cm), els quals ben bé podrien correspondre a la refecció documentada l’any 1377. (JRG)