La primera notícia del castell d Escàs és el jurament de fidelitat que prestà l’any 1069 el castlà Pere Roger al comte Artau I de Pallars Sobirà. L’any 1094 consta entre els diversos castells que el comte Ramon V de Pallars Jussà definí al seu cosí Artau II de Pallars Sobirà
El domini eminent d’Escàs conegué els canvis de titularitat del conjunt de la Vall d’Àssua: traspàs als Bellera l’any 1252 i als comtes de Foix i vescomtes de Castellbò l’any 1435, i reintegrat a la corona l’any 1548. Però els vescomtes de Castellbò només hi exerciren la jurisdicció criminal; la resta de la senyoria jurisdiccional restava l’any 1519 en la persona de Ferrer de Perves, donzell, descendent dels antics castlans. L’any 1578 era detinguda per Gaspar de Pons i l’any 1831 pel marquès de Llió.