Les notícies d’aquest castell en relació amb l’època que ens interessa són molt escasses. L’any 1152 és esmentat un Bernat de Millàs (Bernardo de Miars). Consta documentalment que l’any 1410 Berenguer de Millàs era senyor d’aquest lloc. El castell que ha arribat fins a nosaltres és, però, bàsicament gòtic; recentment ha estat restaurat.