Els comtes Ramon V de Pallars Jussà i Artau I de Pallars Sobirà es disputaren la possessió del lloc a la segona meitat del segle XI. Sembla que el comte Artau s’apoderà de Perabruna i va aixecar-hi una fortalesa. Finalment, el castell restà dins dels dominis dels comtes de Pallars Sobirà. El 1194, Ramon n’era senyor, el qual amb la seva muller Bergueta el cedí al seu fill Berenguer i a la seva muller.