Aquesta fortificació, que ja havia resistit un setge el 1438, fou arrasada el 1496, després d’un nou setge francès. L’any següent fou iniciada la construcció del nou castell per ordre de Ferran II de Catalunya-Aragó; en dirigí les obres l’enginyer castellà Ramírez, el qual, el 1503, ja abans d’acabar-les, feu possible, amb l’obertura d’una mina, utilitzada per primera vegada amb finalitats militars, l’aixecament d’un llarg i penós setge al qual havia sotmès la plaça l’exèrcit francès dirigit pel mariscal Rieux. Les obres s’acabaren el 1505, però durant el regnat de Carles V, que esdevingué un dels punts claus en els constants enfrontaments militars amb França, fou dotat de noves i importants defenses.
Durant la guerra dels Trenta Anys, el 20 de juny de 1639 la guarnició castellana es rendí davant l’exèrcit de Lluís XIII, conduït pel duc d’Halwin i pel príncep de Condé, per al qual aquesta victòria representà un precedent de les de Lens i de Rocroi; l’any següent el lloctinent de Catalunya, comte de Santa Coloma, aconseguí la rendició de la guarnició francesa que comandava el governador Espenan. Els francesos assetjaren novament el castell i el 1642 aconseguiren, amb la capitulació de les forces castellanes (setge de Salses), de retenir definitivament sota llur control aquesta fortalesa. Amb el tractat dels Pirineus, que n'allunyà la frontera francoespanyola 50 km, perdé gran part de la seva importància militar. Tanmateix, el mariscal Vauban, que inicialment el volia destruir per la seva posició al peu de la muntanya, el conservà i millorà. Serví de presó, en particular de dues còmplices de la famosa marquesa de Brinvilliers.
Posteriorment, esdevingué polvorí i, durant la Guerra Civil Espanyola de 1936-39, fou utilitzat com a refugi. Actualment ha esdevingut un museu. L’edifici és de grans proporcions; al seu interior hi ha una plaça d’armes, la casa del governador, la capella, la presó, les quadres i el palau del rei de Catalunya-Aragó.