El castell de Torena s’alçava a 1 699 m d’altitud, en un tossal situat a 2 km de Llessui en direcció nord. Al començament del segle XV ja estava enderrocat, i avui només en subsisteix el topònim.
Des de la mort del comte Sunyer l’any 1011, i en el decurs del segle XI, el castell de Torena és debat entre les dues branques comtals del Pallars que semblen detenir-lo en règim de condomini. Entre el 1011 i el 1035 el comte Ramon IV de Pallars Jussà ven al seu germà Guillem II de Pallars Sobirà el castell de Torena i tota la Vall d’Àssua —cal entendre una part dels drets que hi deté—. L’any 1069 el castlà Pere Roger jurà fidelitat al comte Artau I de Pallars Sobirà pels castells de Caregue, Escàs, Rodés i Torena. _ El comte Ramon V de Pallars Jussà estableix l’any 1080 una convinença amb Guit Ató d’Àssua pel castell de Torena. Un any després, en una nova convinença, Guit Ató d’Àssua dona a Ramon V la meitat del castell de Torena amb els seus drets i s’estableix que si el comte Ramon recupera per placitum o per guerra l’altra meitat —probablement en mans del seu cosí Artau I—, l’ha de subinfeudar a Guit Ató. Guit Ató reapareix el 1090 com a castlà del castell de Torena en un nou contracte amb Ramon V.
Després de les rancures tingudes entre els comtes Ramon V i Artau I i II, el castell de Torena i la Vall d’Àssua passaren definitivament a mans dels comtes de Pallars Sobirà. L’any 1096 Guillem Guitard de Torena establia una permuta o venda amb els comtes Artau II i Eslonça.
L’any 1170, Bernat de Torena, fill de Sança, jurà fidelitat al comte Artau i al seu fill Ramon per l’honor que li havia encomanat. L’any 1181 els comtes Artau IV i Guillema de Pallars Sobirà definiren a Bernat de Torena les potestats dels castells de Surp, Vallcascar, Torroella, Cavahí i Rodés, confessaren que eren pertinences de l’honor de Torena, i establiren que en ells hi tingués tota la jurisdicció alta i baixa, mir i mixt imperi. L’any 1190 Bernat de Torena i el seu fill Ramon reberen del rei Alfons el castell de Torena, que era llur propi alou, declararen que el tindrien segons el costum del comtat de Barcelona i li prestaren homenatge.
Per l’enllaç entre Guillem de Bellera i Gueraua, filla del comte de Pallars, la Vall d’Àssua, amb els castells de Surp i de Torena, passà l’any 1252 a mans dels Bellera.
En endavant, la potestat del castell de Torena i de la Vall d’Àssua que els Bellera detenien en feu pel rei, els fou successivament requerida i retornada pels monarques. Jaume I la requerí a Guillem de Bellera l’any 1272, i la hi retornà posteriorment. L’any 1280, en ocasió de l’avortament de la revolta nobiliària a Balaguer, Pere el Gran la retirà novament al conspirador Guillem. L’any 1303 l’apoderat de Guillem de Bellera lliurà el castell de Torena al veguer reial de Lleida i Pallars, que li restituí quatre anys més tard. L’any 1334 el procurador fiscal del Pallars rebé la potestat de la Vall d’Àssua. Pere el Cerimoniós manà l’any 1380 a Joan de Bellera que li prestés homenatge per aquesta vall, i els anys 1383 i 1386, que li lliurés les potestats dels castells de Torena, de la Vall d’Àssua i d’Astell.
El castell de Torena, que fins aleshores havia estat cap de la baronia de la Vall d’Àssua, a la darreria del segle XIV desapareix de la documentació. En el seu paper de centre, fou substituït, segons el “Spill...” de Pere Tragó, pel castell de Malavil·la i posteriorment pel de Rialb.
L’any 1519 la vella fortalesa de Torena estava enderrocada i només restava la roca anomenada del castell de Torena.