Del castell i la residència comtal que hi hagué al cim del turó on s’alcen les ruïnes de l’església de Santa Maria, no n’ha restat gairebé res. L’existència d’un castell de Besalú està molt relacionada amb el fet que hi haguessin uns comtes de Besalú, en especial uns comtes privatius d’aquest comtat. De fet, el castell degué ésser construït o reconstruït a partir del moment en què Besalú havia de fer de capital d’un comtat independent (o autònom)
Això no obstant, és molt probable que trobéssim un precedent d’aquest castell o oppidum dels segles carolingis en una època molt anterior. D’acord amb tot això, hom pensa que es degué plantejar la necessitat de fer un castell comtal en època del comte Radulf, probablement el primer comte privatiu d’aquest país besaluenc, o, encara més, durant el govern de Guifré II. Tanmateix, la documentació d’aquesta època és tan escassa que és difícil poder saber gaire cosa d’aquests primers anys. És, però, en aquest moment que apareix el Castell de Besalú Del castell i la residència comtal que hi hagué al cim del turó on s’alcen les ruïnes de l’església de Santa Maria, no n’ha restat gairebé res. L’existència d’un castell de Besalú està molt relacionada amb el fet que hi haguessin uns comtes de Besalú, en especial uns comtes privatius d’aquest comtat. De fet, el castell degué ésser construït o reconstruït a partir del moment en què Besalú havia de fer de capital d’un comtat independent (o autònom). Això no obstant, és molt probable que trobéssim un precedent d’aquest castell o oppidum dels segles carolingis en una època molt anterior. D’acord amb tot això, hom pensa que es degué plantejar la necessitat de fer un castell comtal en època del comte Radulf, probablement el primer comte privatiu d’aquest país besaluenc, o, encara més, durant el govern de Guifré II. Tanmateix, la documentació d’aquesta època és tan escassa que és difícil poder saber gaire cosa d’aquests primers anys. És, però, en aquest moment que apareix el primer document que parla de la fortificació comtal, en un moment en què a Besalú hi havia profunds canvis polítics, d’organització, de repartiment del poder, i socials. El comte Guifré de Besalú, el 4 d’agost de 957, poc abans de morir assassinat, presidí un tribunal que s’havia aplegat al seu castell de Besalú. Davant aquest tribunal, format pel comte i els prohoms del comtat, es presentà el representant del monestir de Santa Maria de Ripoll per tal de reclamar la possessió d’uns dominis que tenia a Llonganyà i potser a Castellfollit i a Tortellà. En el moment en què s’esdevingué la revolta de molts dels grans senyors jurisdiccionals del comtat, en aquest any 957, el comte Guifré devia ésser a Besalú o bé s’hi refugià immediatament. Pels motius que sigui, el comte no es va sentir prou segur dins el seu castell i decidí de fugir, sense esperar l’ajut dels seus germans; fou, però, mort per un dels revoltats. Tal com figura en el document conservat en el Cartoral de Carlemany, en relació amb aquest fet s’esmenta l’oppidum, el castell des del qual fugi (“ex oppido suo”). A partir d’aquesta data, el castell de Besalú apareix documentat força sovint. En el testament del comte Sunifred, de l’any 965, hi ha una referència casual de la fortificació (“et ipsos plantarios qui sunt ante castrum Bisulduni”). A partir de l’època del seu successor, el comte bisbe Mir, el nombre de mencions del castell —i també el nombre de documents fets i conservats— augmentà notablement. En els documents relacionats amb la institució o dotació del monestir de Sant Pere de Besalú i de la canònica de Sant Genís i Sant Miquel, fets l’any 977, apareixen força notícies del castell (“oppidum Bisulduni”, “subtus iam dictum castrum sita”, “infra muros castrí Bisulduni”, etc.). A segle X, a part el castell, sembla també que degué ésser fortificada la vila de Besalú. El primer recinte s’estenia fins al carrer de Rocafort i al portal del carrer del Comte Tallaferro, fins al carrer Major i al carrer de l’abat Safont i fins a l’actual carretera que va de Girona a Olot. Aquest recinte, com diu Joan-Albert Adell, havia d’ésser evidentment molt més gran que el del clos estricte del castell. El castell tingué un paper important amb relació al prestigi dels comtes de Besalú, que hi degueren fer algunes transformacions i millores. En l’època del comte Bernat Tallaferro s’hi feren diversos judicis, que són un reflex del poder que encara tenia aquest comte besaluenc. L’any 1003 hi ha documentat, per exemple, un plet “in castrum Bisullunum”, celebrat davant el comte i els pròcers del comtat, amb relació a una reclamació feta pel bisbe de Girona sobre les parròquies de Sant Pere de Montagut i de Sant Feliu de Beuda. En el testament sacramental de Bernat Tallaferro, de l’any 1021, el “castrum de Bisulduno cum ipsum comitatum quem dicunt Bisuldunense et ipsos castellos qui in suprascripto comitatu Bisuldunense sunt” havien d’ésser deixats al seu fill Guillem. L’any 1029, el comte Guillem I el Gros desitjava convertir l’antic castell en un palau on poder residir. En aquesta data obtingué de l’abat Tassi, del monestir de Sant Pere de Besalú, en canvi, d’alllberar-lo d’algunes obligacions, la quantitat de 300 muigs de calç per a la construcció del seu palau (“propter edificationem palatii mei”). Al començament d’un document de l’any 1033, se’ns diu: “cum in Dei nomine Guillelmus Dei gratia comes resideret in castro Bisulduno”; la fortificació havia d’esdevenir una residència. A partir d’aproximadament l’any 1055, apareix, així mateix, una església de Santa Maria, situada al castell (“quae est in castello vocitato Bisulduno”). En aquesta data s’esdevingué la consagració d’aquesta església per part del bisbe de Girona. Amb relació a les obres que es realitzaren dalt el turó del castell al llarg d’una bona part del segle XI, cal assenyalar que, en un document de l’any 1084, ja s’esmenta l’existència d’un “castro novo”. L’any 1111, en morir el comte Bernat III, el comtat de Besalú passà a dependre directament del comte de Barcelona. Aquesta absorció motivà un enfrontament amb el comte de Cerdanya, Bernat. Durant un temps, però, els comtes de Cerdanya i el de Barcelona sembla que arribaren a un acord. D’aquest moment, l’any 1112, és el jurament de fidelitat que feu Bernat I a Ramon Berenguer III de Barcelona, en el qual s’esmenta d’una manera especial el “castro Bisulduni” i més endavant també el “castello Bisulduni” (la forma castello en aquest moment ja es deu introduir per influència del català). Després d’aquest intent del comte de Cerdanya de recuperar el patrimoni familiar, el comtat de Besalú esdevingué definitivament del comte de Barcelona i la vila de Besalú passà a ésser la vila comtal i després reial, que solia dependre de les reines catalanoaragoneses (Peronella, Sança). Amb tot, el castell havia perdut una bona part de la seva funció política i militar. Aquest fet pot justificar que, segons diu Eduard Junyent, fos cedit en part, després de l’any 1137, a la canònica de Santa Maria de Besalú. Uns anys més tard, el 1180, ja apareix esmentada una església canonical de “Sancte Marie Novelle”, que era situada al cim del turó. Els reis catalanoaragonesos hi continuaren tenint, tanmateix, un palau residencial. Tal com figura en les obres de Joaquim Miret i Sans, l’any 1254, Jaume I concedí a Ramon de Pompià que tingués habitació al castell de Besalú i que en tingués cura. El rei es reservava, però, el dret d’estar-s’hi quan fos a Besalú i l’obligava a tenir-hi draps, robes, escudelles i altres atuells necessaris per a ell i els seus acompanyants. A la Crònica de Bernat Desclot s’esmenta el castell de Besalú (“la vila ne lo castell Bosoldó”). Segons Desclot, en el moment de la invasió francesa de l’any 1285, tenia el castell de Besalú, pel rei, Albert de Mediona, el qual s’hagué de fer fort al castell i a la vila durant uns quants dies, mentre durà un breu setge. Després d’aquest moment, encara apareixen d’altres notícies del castell. Així, per exemple, el 1309 s’esmenta el priorat de Santa Maria del castell (“Sancte Marie castri de Bisuldono”). Segons J.M. Corominas i J. Marquès, l’any 1323 hi degué haver una reconstrucció al castell, feta fer per Bernat de Pompià. Al final del segle, el 1378, n’era responsable Ramon Cavaller, que era procurador general del comtat. Quan l’any 1385 Pere III, la reina Sibil·la de Fortià, el príncep Joan i la seva muller estigueren a la vila de Besalú, es degueren hostatjar al castell. De fet, però, el castell ja havia perdut una bona part de la seva importància estratègica. Al segle XV, durant la guerra dels remences, gairebé només hi ha una preocupació per la protecció de la vila (“a reparació dels murs e fortaleses de la vila”). Malgrat tot, encara durant l’època de Napoleó, l’any 1809, foren instal·lats al lloc on hi havia hagut l’antic castell 500 homes i 40 cavalls.