La història del castell de la Torre es vincula al conjunt de la Vall d’Àssua, que a la mort del comte Sunyer l’any 1011 és debat entre les dues branques de comtes rivals i que finalment, al segle XI, restarà definitivament en mans dels comtes de Pallars Sobirà. Efectivament, el castell de la Torre consta entre la resta de castells de la vall en la venda feta entre el 1011 i el 1035 pel comte Ramon IV de Pallars Jussà al seu germà Guillem II de Pallars Sobirà. Però vers el 1088 el comte Ramon V de Pallars Jussà l’infeudà a Guit Ató d’Àssua, el qual es comprometia a reconèixer el domini eminent del comte i dels seus successors tan aviat com li fos requerit. Un segle després, l’any 1181, eren els comtes de Pallars Sobirà, Artau IV i Guillema, els qui reconeixien a Bernat de Torena les potestats dels castells de Surp, la Torre i altres.
L’any 1252, en ocasió del matrimoni de Guillem de Bellera amb Gueraua, filla del comte de Pallars, tota la Vall d’Àssua passà a mans dels Bellera, els quals successivament se n’hagueren de reconèixer feudataris dels reis.
El 25 de juliol de 1435 Jaume de Bellera vengué a perpetuïtat la Vall d’Àssua i la baronia de Rialb al comte de Foix i el vescomte de Castellbò, la qual no es feu efectiva fins el 1460. A partir d’aleshores la vall passà a constituir un cinquè quarter del vescomtat de Castellbò.
L’any 1519, en el moment de redacció del “Spill...” del vescomtat, el lloc de la Torre tenia dinou caps de casa que, juntament amb els de Llessui, havien de prestar host i cavalcada, obra i carrey, jova i guaita per força al castell de Rialb.