De forma triangular, té un perímetre d’uns 800 m i culmina a la banda oriental amb la torre Gironella. Els murs, romans, tenen fonaments ibèrics. Inclou la seu i dependències eclesiàstiques, a més del palau episcopal. Durant la guerra contra Joan II s’hi refugiaren la reina Joana Enríquez i el seu fill, l’infant Ferran, i hi foren assetjats (juny-juliol del 1462), però finalment alliberats gràcies a l’ajut de les tropes franceses.