Ocupa el planell superior i és envoltat per un alt mur emmerletat amb torres semicirculars als angles. Una gran torre quadrada del s. X s’aixeca a l’angle nord-oest. El primitiu castell, dit de Sant Lluc, fou bastit en 958-86 dins una gran propietat cedida al monestir de Cuixà pel comte Sunifred II de Cerdanya i Besalú, i fou ampliat amb la gran muralla encara subsistent als s. XI i XII, fortificat de nou i reparat al llarg del XIII, quan el castell fou traspassat al rei de França pel tractat de Corbeil (1258).