Juntament amb les torres de defensa, formava un enorme conjunt fortificat, el més important de la regió, bastit sobre una sèrie de cims encinglerats, inaccessibles en molts indrets, de la serra que separa el Vallespir de l’Alt Empordà. Les restes del castell (s IX), dins un clos emmurallat, de la torre de l’homenatge i de la capella (dedicada a sant Miquel) s’alcen sobre el cim més meridional (1 342 m alt); en cims propers s’alcen les restes d’una torre de defensa dins un clos emmurallat, construïda al s XIII, i d’una altra d’hexagonal, del s XIV. El castell havia estat residència dels lloctinents dels comtes de Besalú al Vallespir fins al s X.