El castell de Casterner es troba a l’entrada de la vall de Senyiu o de Castanesa, damunt l’espadat de la serra que al llarg dels segles ha serrat la Valira per la banda dreta (1 044 m). El seu terme és documentat ja l’any 979 amb relació a una terra alaonesa situada al lloc dit Espeldare, que s’identifica amb Espollà. Consta també en altres diplomes d’aquest segle i del següent, especialment com a termenal de migjorn de la vall de la Valira o de Senyiu (986, 1024, 1044). Igual que la resta de la vall, al segle XI passà al domini dels comtes del Pallars Jussà. Poc després Duran Ramon seria el primer castlà a portar el cognom Casterner. Aquest llinatge sembla relacionat amb els Vallsenyiu. Al segle XII la senyoria era en poder dels barons d’Espés, puix que Elisenda d’Espés es casà amb Marc Férriz, senyor d’Osca, i llur fill era cognomenat Pere de Casterner (1218).
Avui dia, sobre el monticle on hi havia hagut el castell romànic, al costat del poble de Casterner, es dreça un bonic castell palau que data, però, d’època moderna, quan Casterner era centre de la senyoria dels Ascó de Benasc. C. Guitart Aparicio (1979) en féu ja un primer estudi, atribuint-lo als segles XV o XVI. Segons R. Larrègola correspon a una construcció de la baixa edat mitjana. Presenta un recinte de planta rectangular, amb dues torres circulars amb espitlleres en angles oposats (al NE i al SE) i la porta d’entrada oberta al migdia, amb arc rebaixat.