L’any 1178 Ramon de Cabdella i la seva muller Anglesa donaren a la comanda templera de Montsor “illas nostras estivas integriter quas habemus in termino Capdele et in Filida” com també el “castrum Podii Capdele cum villa et hominibus et cum omnibus suis terminis”. Aquesta primera notícia fa suposar que el castell es devia trobar en el lloc conegut antigament com a Puig de Cabdella, l’actual Espui.
Una carta reial del desembre del 1259 ens permet conèixer que Bernat de Cabdella havia fet costat al vescomte de Cardona i al comte Àlvar d’Urgell en la rebel·lió i les hostilitats contra Jaume I. El rei el convocà el març del 1260 a Cervera perquè acatés el feu. Com a conseqüència del fracàs de la revolta nobiliària de l’any 1280, Pere el Gran concedí en feu a Bernat de Toralla tot el que tenia al castell, a la vila i a la vall de Cabdella, amb els seus homes i dones, serveis, servituds, senyoratge, etc., tot retenint-ne el mer imperi i la justícia criminal.
Cabdella i Espui figuren en el fogatjament del 1381 com un domini del noble Arnau d’Erill, amb catorze focs cadascun. El castell romangué en mans dels Erill fins al primer terç del segle XIX.