Malgrat que la vila d’Albet és coneguda des del 914, el seu castell no és documentat fins al segle XII. Fou donat per Ermengol VII a Bernat Sanç el 1159. No apareix més en la documentació. Devia ser una fortificació força secundària, propera a l’església de Sant Martí d’Albet, que presideix aquest petit nucli de la vall de Castellbò. El seu paper estratègic inicial seria el de protegir l’antic camí cap al Pallars.