L’origen de la població sembla que cal situar-lo en època romana. Durant la dominació musulmana, la vila i la fortalesa de l’indret tingueren un important paper estratègic, car eren situades als límits del terme de Lleida. Després de la conquesta feudal, la població fou atorgada l’any 1172 a Monof, batlle d’Alfons I, juntament amb altres llocs del seu terme. Monof regia Torregrossa a títol de funcionari reial, però el domini feudal era de Guillem de Cervera, castlà de Lleida, i romangué en mans dels Cervera —als quals s’havia encomanat la tasca de repoblació de l’indret— fins el 1279, en què Ramon de Cervera donà Torregrossa i Puiggròs al rei Pere II mitjançant una permuta. Anys més tard, vers 1341-42, el ciutadà de Lleida Domènec de Montsuar adquirí les senyories de Margalef i de Torregrossa, i, el 1382, un nebot seu homònim obtingué la plena jurisdicció sobre aquest darrer indret.
L’any 1497 era senyor de Torregrossa Guerau de Montsuar, que per matrimoni amb Simona d’Avinyó fou també senyor de Favara de Matarranya. Durant el segle XVI els Montsuar-Avinyó referen el castell de Torregrossa. Vers l’any 1625 la població de Torregrossa passà, per matrimoni, a mans dels Rocabertí i a mitjan segle XVIII als Pignatelli de Belmonte, els quals mantingueren la senyoria fins a la fi de l’antic règim. (MLIR)
En l’actualitat no queda res del vell castell. Darrere de l’església de la població es pot apreciar el traçat de l’antiga vila closa, de forma oval, amb el Carrer Major travessant-la d’est a oest i on cal suposar que hi devia haver una porta a cada costat. A ponent hi ha un carrer, anomenat carrer del Portell, que surt d’allí i voreja el nucli vell pel nord. A llevant hi ha encara una porta feta de carreus encoixinats, amb arc adovellat de mig punt, el qual té actualment un estrany recolzament ja que els muntants han estat retallats modernament. L’existència dels encoixinats permet datar aquesta porta de Torregrossa al segle XIV o XV, si bé és possible que en substituís una de més antiga. (JRG)