Les restes
Els vestigis de la fortalesa, assentada al llarg d’un estret serrat, apareixen flanquejats per dues torres albarranes. Es tracta d’un conjunt heterogeni construït en diverses etapes. Sembla que la part més antiga correspon a la muralla, que pot ser anterior a la conquesta feudal, subsistent d’una antiga fortalesa andalusina.
Un mur d’uns 130 cm de gruix, que s’adapta a les formes irregulars del terreny, delimita l’àmbit del castell. Ben visible al sector sud-est, la muralla descriu un sortint poligonal a manera de barbacana. En aquest indret s’obre la porta d’accés a l’interior del clos. Entre el recinte sobirà i el jussà s’estén un pati o albacar sense construccions.
Al recinte sobirà, en el sector més enlairat del castell, hi ha els basaments d’una torre rodona, segurament la torre mestra, rodejada per la muralla. L’aparell és fet amb carreus rectangulars de mides diferents, disposats en filades horitzontals poc definides, i amb el lligam d’un morter de sorra i calç. Aquesta torre podria ser l’origen de l’edifici del castell, datable del segle XI o l’inici del segle XII.
Al recinte jussà, situat a l’altre extrem, resten una sèrie d’estances subterrànies o semisubterrànies que formaven part de la zona residencial de la fortalesa. Al límit d’aquest recinte hi ha una gran cambra subterrània rectangular, coberta amb una volta apuntada, reforçada per quatre arcades de perfil ogival. Els murs són fets amb blocs de pedra col·locats irregularment, travats amb un morter de calç molt compacte. Al costat d’aquesta sala, en un nivell superior i tocant a la muralla nord, es conserva un edifici migpartit, cobert amb una volta una mica peraltada, que podia haver estat l’església del castell, dedicada a sant Vicenç. Davant d’aquesta construcció resta un espai lliure d’edificacions a partir del qual s’obre una gran arcada, coberta amb volta de mig punt, o a vegades de perfil apuntat. En cadascun dels flancs de l’arcada hi ha dos habitacles. A l’est, s’obre un petit edifici, cobert amb una volta de mig punt construïda amb un seguit de peces d’un quart de cercle, fetes amb un encofrat de formigó. La sala oest, rectangular, és coberta amb una volta que comença en forma d’arc de mig punt i acaba en un perfil apuntat, feta amb lloses disposades a plec de llibre. És probable que aquesta cambra s’utilitzés com a presó. Als paraments interns, arrebossats amb guix, sorra i calç, s’han trobat uns grafits molt ben conservats. Són de difícil datació, probablement entre els s. XII i XIV. Hi ha representats un recinte emmurallat, una escena bèl·lica, figures antropomorfes i cavalls. L’escena bèl·lica sembla el grafit més antic; hi veiem dos cavallers, un dels quals porta l’escut dels Cardona, dos ballesters i tres soldats, una torre al fons i un aparell de guerra al centre. Es tracta del setge de Balaguer per part del rei Pere el Gran (1280).
Les torres albarranes
A més del castell pròpiament dit, el conjunt té dues torres albarranes als dos puigs que l’envolten, les quals formaven una línia defensiva de primer ordre.
La torre del Ballester, o d’en Balet, en mal estat de conservació, és situada dalt d’un turó al nord-oest, separada del castell per una clotada. De planta rodona, té uns 14,60 m d’alçària i un diàmetre extern de 8,5 m, amb un mur de 2,5 m de gruix. A l’interior comprèn una planta baixa i dos pisos, separats amb voltes cupulars. L’accés als diferents nivells es fa per una graonada helicoidal encastada a la paret. Sobre la porta d’entrada, rectangular, podem veure dues obertures, l’una al primer pis i l’altra al segon, on també hi ha, encarada al nord, una espitllera i nombrosos forats. L’aparell, fet a base de pedruscall travat amb morter, com un encofrat, s’ha recobert amb un arrebossat, més ben conservat a l’interior.
La torre del Raval, en un estat de conservació no gaire bo, s’aixeca al sud, en un pujol deslligat del castell per una depressió. Té uns 12 m d’alçària, amb una forma poligonal a l’exterior i trapezoidal a l’interior. S’organitza a partir de tres pisos, coronats per un terrat emplaçat sobre l’últim sostre de la torre i fet amb unes peces de formigó soldades que formen una volta de mig punt. Els altres compartiments quedaven separats per sostres de fusta. L’accés es feia per una graonada, ara ensorrada. La porta d’entrada és oberta a peu pla, capçada per un arc de mig punt fet amb llosetes disposades radialment. Els paraments externs consisteixen en blocs desbastats, disposats de forma irregular i travats amb un morter de calç, encara que en algun fragment de paret, tant interior com exterior, apareixen carreus ben escantonats disposats en filades horitzontals. L’aparell de la resta de paraments interns és irregular i té un encofrat de formigó. La torre és protegida parcialment per un vall i, en algun sector, per un contravall.
La història
El castell, també conegut com a castell de Sant Esteve, pertanyia als comtes de Cerdanya cap a l’any 1000. Al segle XII va passar per herència a la casa comtal de Barcelona. A la fi del segle XII i a l’inici del XIII eren castlans d’aquesta fortalesa alguns membres del llinatge de Malacara. Cap a la segona meitat del segle XIII n’eren senyors els Cardona, com a feudataris de la casa reial. El 1375 el castell, que pertanyia aleshores als Sabater, va passar al comtat de Cardona. L’any 1822, durant la persecució contra la Regència d’Urgell, el comte de la Mina va arrasar el poble i va fer volar el castell.