La caseria de Castellars es troba aigua avall del barranc de Peranera, a la seva riba esquerra. El primer esment documental del castrum de Castellarz, que vigilava per llevant els passos de la vall d’Erta i del Sas, és de l’any 1072, en la convinença sobre l’honor de Guillem Sunyer, que Artau I, comte de Pallars Sobirà, va cedir al comte Ramon IV de Pallars Jussà. També és documentat que el comte Artau I, abans del 1080, trencà la treva de Déu a Castellars i els seus homes mataren un vassall del comte Ramon IV de Pallars Jussà.
A mitjan segle XIII, la senyoria de Castellars passà als barons d’Erill com a hereus dels Bellera; així, Guillem V d’Erill es titulà senyor de Castellars. Des de l’any 1378 “Castellars de l’Abadiat” consta dins el domini del monestir de Santa Maria de Lavaix. Actualment no queda cap vestigi de la fortificació, a excepció d’alguns elements reaprofitats; en aquest sentit, R. Larrègola ha observat en els murs de la casa Servent, de Castellars, carreus cúbics de dimensions considerables molt ben treballats que podrien procedir del castell.