El castell d’Elins era situat dins l’antic terme de Pallerols del Cantó, que antigament s’anomenava “Vall d’Elins”, la qual va donar nom al cenobi de Santa Cecília d’Elins. Les notícies més antigues d’aquest castell són de l’any 839, en què Aconci vengué a Sisebut, bisbe d’Urgell, uns horts, un dels quals era situat prop del camí que anava al castell d’Elins.
L’any 878 el levita Sibara, Adila i la seva esposa Ulíbula van vendre a Astoald i a la seva muller Sisenanda una peça de terra que era situada “in locum dicitur subtu castro Elinsi”.
En l’acta de consagració de Santa Maria de la Seu ja s’esmenta el castell i la vall d’Elins, junt amb la seva parròquia.
La vall de Pallerols va ser posseïda, almenys parcialment, pel monestir benedictí de Santa Cecília d’Elins. L’any 1080, en què es va consagrar l’església del cenobi, aquesta posseïa a la vall l’església de Sant Pere amb el castell de Cassovall. Ultra això, també tenia el castell d’Elins, la vila de Pallerols i la meitat d’Avellanet.
Segons Pere Tragó, l’any 1519 la vall de Santa Cecília era del prior i dels canonges de l’església de Castellbò (successora del monestir d’Elins), que hi posseïen la jurisdicció civil.
La toponímia i la documentació més antiga permet pensar que el castell d’Elins s’alçava en l’enclavament de Castellins, situat entre els municipis del Pla de Sant Tirs i Noves de Segre.