A la vall de Bardaixí s’originà l’important llinatge ribagorçà dels Bardaixí, que sobresortí en especial a la fi de l’edat mitjana. Al principi del segle XII trobem ja esment de Ximeno Fortuny com a senyor de Calassanç i de Bardaixí, que devia ser fill del cèlebre Fortuny Dat i de Beatriu de Ribagorça. Mentre que a la meitat d’aquest segle figuren Pere de Bardaixí, fidel del comte Arnau Mir de Pallars Jussà i dels Erill; Berenguer de Bardaixí, que donà a Sant Victorià d’Assan heretats a Santa Maura, Celias, el Vilar i Senz; i Guillema de Bardaixí, casada amb el senyor Roderic d’Estada.
L’any 1289 Alfons III de Ribagorça concedí al monestir de Sant Victorià les rendes de la vall de Bardaixí i l’any següent ordenà al feudatari reial, Ramon d’Espés, transferir la jurisdicció del castell de Bardaixí al veguer de Ribagorça. Es desconeix exactament on era situat aquest castell.