El castell és format per dos nuclis fortificats, el Castellvell o Major i la Castellana, units per una doble muralla amb un total de trenta torres. És de fundació romana, i fou reedificat després de la conquesta cristiana. Fou destruït parcialment arran de la guerra de Successió i pel terratrèmol del 1747. Serví de presó de personatges importants, com l’infant Ferran de la Cerda, Jaume IV de Mallorca, Jaume d’Urgell, enterrat a la capella del castell, i Ferran d’Aragó, duc de Calàbria, el qual durant les Germanies els agermanats, que aconseguiren de dominar el castell, proposaren de nomenar rei (1522) i d’alliberar-lo. Fou declarat monument nacional; és de propietat particular.