Es troba al centre de les fortificacions construïdes successivament des de la fi del s XV, al llarg del s XVI (1540, 1552, 1564) i al XVII (1679) per Vauban (aquesta darrera desmantellada el 1904). És voltat d’un fossar i flanquejat per quatre torres als quatre angles i dues torres laterals, al N i al S, afegides al s XV a l’antic edifici rectangular. A la façana occidental hi ha la torre de l’homenatge, amb l’entrada principal al pati interior quadrangular, pràcticament voltat d’arcades. A la façana oriental hi ha la torre major, on es troben les capelles sobreposades de la Santa Creu i de Santa Maria Magdalena, d’acurada decoració gòtica —obra de Ponç Descoll—, que comuniquen amb les estances del rei i de la reina, que donen també al pati, al qual donen igualment les sales de recepció, tot al primer pis (Sala de Mallorca, Sala Blanca), construïdes en ple s XIV.
Fou residència dels reis de Mallorca fins que el 1344 Pere III de Catalunya-Aragó se n'apoderà. També fou ocupat pels francesos en les diverses ocupacions de Perpinyà del s XV i regit per un governador des del darrer terç d’aquest segle. Des d’aleshores perdé el seu caràcter palatí i predominà la seva funció militar, que encara no ha perdut del tot. És una de les mostres més notables de l’arquitectura civil gòtica catalana.