A mitjan segle XII, Bernat de Pessonada i el seu germà, enfrontats amb Amat de Pessonada per aquest castell, establiren una convinença amb el comte Arnau Mir I de Pallars Jussà. Poc després, sembla que el castell quedà dins la jurisdicció del comte de Pallars Sobirà, ja que el 1170 el comte Artau IV cedí a Guillem de Telia i els seus successors la potestat del castell com a recompensa pels seus bons serveis.