És limitada per dues grans torres emmerletades de base hexagonal, compostes de tres plantes, entre la segona i la tercera de les quals corren exteriorment sengles barbacanes defensives. Del 1586 al 1892 serví de presó. Posteriorment, la restauració dirigida per Josep Aixa deixà al descobert, per la banda posterior, les voltes gòtiques de la segona i tercera plantes i la del damunt de la mateixa porta. En 1937-38 acollí una part important de les obres d’art del Museo del Prado de Madrid, evacuades a causa de la guerra.