És impossible distingir, segons un mateix topònim —Castellum Nigrum— entre aquest Casterner, a la conca d’Aulet, i el de la vall de Senyiu. El trobem citat en el cartulari d’Alaó d’una manera genèrica els anys 979, 1044 i 1074, però la lògica i el fet de no ser esmentat en les convinences comtals pallareses fan pensar que encara no existia al segle XI.
Al segle XIII els Vilamur senyorejaven la vall de Betesa. El vescomte Ramon I es revoltà contra Pere el Gran, amb els comtes de Foix, Pallars i Urgell; assetjat a Balaguer (1280) i empresonat, hagué de lliurar al rei els castells de Naens, Sant Just, Cadolla, Casterner, Betesa i altres (1282). Després els membres del llinatge es convertiren en fidels col·laboradors de la monarquia; recordem que l’any 1298 era nomenat veguer de Pallars i Ribagorça. Però el fet fonamental fou l’obertura del pas d’Escales al segle XIV. Certament sabem que l’abat Pere d’Alaó adquirí en alou aquest castell al vescomte Pere de Vilamur i esposa per la quantitat de 7 500 sous jaquesos (1378), i l’església parroquial fou consagrada pel bisbe Joan en honor de sant Llorenç (1394). Així es troba reflectit en els fogatjaments dels anys 1365-70, on es consigna el “castell de Toló e loch de Castaner qui són de la vezomtessa de Vilamur. XX. focs”; el del 1381 recull aquest traspàs (cinc focs amb Llastarri). No resten vestigis romànics ni a la roca de Casterner ni al poble.