Apareix documentat a la segona meitat del segle XI. El comte Artau I de Pallars Sobirà s’apoderà del castell, que estava sota la guarda del comte Ramon V de Pallars Jussà com a penyora. També fou motiu de disputes entre el comte Ramon V i el comte d’Urgell Ermengol IV, que sembla que va atacar el castell. Des del segle XII formà part de la senyoria dels vescomtes de Vilamur. El 1282 el vescomte Ramon de Vilamur, que havia participat al costat del comte de Pallars en la revolta nobiliària contra el rei Pere i que havia estat empresonat a Lleida, va haver de donar la potestat del castell a Ferrer de Castelló, procurador del rei.