Aquest castell devia dependre en un primer moment del castell de l’Aguda, perquè ambdós indrets formaven part del mateix terme jurisdiccional i en compartien els senyors. Esmenta per primera vegada el castell de Torà una col·lecció de miracles atribuïts a sant Benet, on es narra la batalla que tingué lloc davant d’aquest castell durant una de les ràtzies d’Abd al-Malik, segurament el 1006. El lloc de Torà és esmentat també, juntament amb l’Aguda, en un document de l’any 1024.
La referència directa més antiga del castell de Torà és de l’any 1141, en el testament de Ramon Gilabert i la seva muller Bonadona, que devien ser-ne els castlans majors. En aquest testament s’establia que després de la mort dels dos cònjuges el castell de Torà passés al seu fill Guillem, amb el seu vicari o castlà anomenat Guillem de Torà, que l’havia de tenir per ell.
Com a l’Aguda, la línia dels senyors eminents es comença a conèixer amb seguretat a partir del tombant dels segles XI i XII, època en què Torà era a mans dels Cabrera. El 1105 Ferrer, fill del vescomte Guerau II de Cabrera, deixà en el seu testament a la canònica de Santa Maria de la Seu d’Urgell l’honor que fou del seu avi Ramon Miró i de la seva mare, que incloïa entre altres indrets i castells, Torà. Filla de Ferrer de Cabrera fou Marquesa, que es casà amb Gombau de Ribelles. Ambdós consten com a senyors de l’Aguda i de Torà el 1179 en fer testament i varen llegar a la seva filla Marquesa el castell de l’Aguda i de Torà, sempre que no morís sense fills; si això s’esdevenia passaria al seu germà Ramon de Ribelles. En la consagració de l’altar de l’església de Sant Salvador i de l’església de Santa Maria de l’Aguda, efectuada entre el 1190 i el 1194 pel bisbe d’Urgell Arnau de Preixens, hi assistiren Ponç de Cervera i Marquesa, filla de Marquesa de Cabrera i de Gombau de Ribelles, intitulats senyors de l’Aguda i Torà. A l’inici del segle XIV el vescomte Hug de Cardona comprà la jurisdicció de Torà i de l’Aguda i sota el govern d’aquesta nissaga es fortificà la vila. El poble de Torà conegué l’època d’esplendor al segle XVI, moment en què s’erigí l’hospital amb una capella i altres edificis notables. A la centúria següent consta que Torà era seu d’una batllia dins els dominis dels ducs de Cardona, els quals tingueren la potestat del lloc fins a l’extinció dels senyorius al segle XIX. (ABR-MLIR)
Tant del castell que presidí la vila de Torà com de la muralla que la va protegir no resta pràcticament res, a excepció d’un portal adovellat d’arc de mig punt que s’obre a l’oest. L’església actual està bastida sobre l’emplaçament de l’antic castell, però no hi ha cap resta visible. La disposició topogràfica i la trama urbana derivada permeten comprovar que originalment Torà va ser una petita vila closa. Fou construïda al vessant meridional d’un turó que pel nord està vorejat per la riera de Llanera. La muralla devia protegir les cases construïdes a banda i banda dels dos carrers principals, en direcció oest i sud des de la placeta o centre neuràlgic de la vila. El portal actual és del final de l’edat mitjana, però testimonia l’existència d’un urbanisme tipus vila closa que devia ser l’original de la vila quan es va bastir a la segona meitat del segle XI, poc després de la conquesta definitiva als àrabs del marge dret del Llobregós. (JRG-DRR-JIR-JMT)