Tot i l’abundant documentació que ens proporciona el Ròtol de Benasc, val a dir que al principi del segle XI Benasc només apareix com a villa o territorio i no pas com a districte casteller. Això prova que aquesta alta vall pirinenca es mantingué al marge del primer moment feudal i que no tenia cap sentit la construcció d’un baluard defensiu en aquesta zona tan aïllada de la frontera musulmana. Els homes de Benasc estaven obligats a participar únicament en l’obra dels castells de la marca, com es constata el 1084. Probablement al segle XII els comtes del Pallars Jussà, senyors de la vall de Benasc, hi bastiren una forticació puix que el comte Arnau Mir en el seu testament del 1157 deixà a la canònica de Santa Maria de Mur un mas al castell de Benasc. No ens ha arribat cap vestigi d’aquest possible castell romànic que, més aviat, devia dependre de la frontera nord, del control de les comunicacions pirinenques. Es devia tractar, doncs, d’una torre de vigilància emplaçada aigües amunt de la vila, a la roca del Castiello, vora el camí del Portilló. Aquesta torre quadrada, un “donjon” segons l’enginyer francès Thierry (1711) i “muy antigua”, segons P. Madoz, devia servir de nucli per a la moderna fortalesa feta construir bàsicament el 1592 per ordre de Felip II de Castella, bé que un poc abans consta la seva fortificació pel senyor de la Pinilla en el decurs de la guerra civil ribagorçana (1588). Es conserven antics gravats d’aquesta fortalesa atribuïts a Tiburcio Spannochi que mostren un gran baluard amb murs, torres i edificacions, de planta allargada i estreta. Era una fortificació encarregada de defensar la frontera del Pirineu central amb França i va tenir un paper molt destacat en les guerres de Successió (1708, 1712) i del Francès (1809, 1814). Finalment, va ésser destruïda el 1858 per ordre del general Ferraz y Barrau, benasquès, i després fou una pedrera per a les ulteriors construccions de la vila, de manera que actualment només podem apreciar in situ uns pocs vestigis i la seva planta.