El castell conserva diversos elements del palau dels Cardona, d’època medieval, com l’anomenat pati ducal i una gran sala d’arcs apuntats. Però des de la segona meitat del segle XVI aquesta família ja no visqué al castell: tenia d’abans una gran casa a la vila, a la Fira, i grans palaus a Arbeca i a Barcelona. El castell restà com a col·legiata amb l’abat i alguns canonges des de la secularització del monestir fins al segle XVIII. El conjunt de les construccions era voltat per un mur: un portal era encarat al poble i una poterna a la banda oposada, més moderna, fa pensar en un portell. En les guerres del segle XVII, especialment la dels Segadors, es palesà la necessitat d’adaptar la fortificació al desenvolupament de l’artilleria i el duc de Medina Sidonia, lloctinent de Catalunya, ordenà la construcció de la segona muralla i dels grans baluards, que encara es mantenen, iniciada el 1693 sota la direcció de l’enginyer militar Pere Borràs, obres que continuaven el 1697 essent governador del castell el general Antoni de Villarroel. Les muralles contenien casamates per als canons i espitlleres per als trabucs i escopetes: al principi del segle XVIII hi havia més de 70 peces d’artilleria. Convertit en caserna a partir del 1794, per la qual cosa els canonges es traslladaren a la vila, hom reconstruí les parts malmeses en la guerra de Successió i fortificà encara el castell. Les dates 1810 i 1811 apareixen en diverses construccions. Són d’aquesta època moltes garites de la part superior dels baluards. En les guerres civils del segle XIX les necessitats militars causaren greus destrosses a les construccions religioses: hom construí pisos dins la nau del temple i es malmeteren altars i mausoleus de marbre o alabastre. La residència canonical fou convertida en caserna. El testimoni més antic del castell de Cardona és la torre de la Minyona, que centra l’imponent conjunt i fou la torre mestra; és cilíndrica, atalussada a la base, d’uns 15 m d’alçada i 9,8 m de diàmetre (probablement del segle XI); fou escapçada i reforçada el 1794 per posar-hi una peça d’artilleria. És molt popular la llegenda segons la qual hi hauria estat tancada a pa i aigua una suposada filla d’un vescomte de Cardona, anomenada Adalès o Adelaida, que s’hauria casat secretament amb l’alcaid moro de Maldà després d’aconseguir que abjurés de la religió de Mahoma.