En un principi el lloc de Cardet sempre surt citat com a villa de la vall de Boí. Tanmateix, la seva privilegiada situació a l’entrada de la vall, controlant l’estret de les Cabanasses, afavorí que s’hi construís un castell i esdevingués districte casteller. Probablement formà primerament part del terme de Grau de Castelló, infeudat als Mir Guerreta. El castell ja existia el 1157, en què Bernat I d’Erill donà el castell de Cardet a Santa Maria de Lavaix, i ordenà que el seu castlà fos fidel al monestir. L’inventari del monestir de Lavaix de final del segle XII registra només la villam Carded, la qual cosa fa pensar en una vida efímera d’aquest castell.
Els fogatjaments de final del segle XIV consignen 8 focs a Cardet, sota la jurisdicció de l’abat de Lavaix. Segons una relació de 1769 les rendes monàstiques de Cardet pujaven a 30 lliures.