L’any 879, ja trobem esmentada una villa Torrocella. El nom d’aquest lloc fa pensar que aleshores ja hi havia algun tipus de construcció defensiva (una torroella o torre petita). L’any 1085, en una concòrdia entre els comtes d’Empúries i de Rosselló, surt esmentat el castro Torredella. En altres acords posteriors entre els comtes empordanesos i rossellonesos, conservats també en el Liber feudorum maior, dels anys 1121 i 1154, és esmentat igualment aquest castell. El lligam de dependència entre el castell de Torroella de Montgrí i els comtes d’Empúries resta força clar de bell antuvi. L’any 1091, un senyor anomenat Pere Ponç de Torroella és present en un judici presidit pel comte d’Empúries, on cal resoldre un enfrontament entre els monestirs de Sant Esteve de Banyoles i de Sant Pere de Rodes. L’any 1121, Ponç Guillem era senyor de Torroella, que signà l’acta de fundació de la canònica de Santa Maria d’Ullà. Segurament també són d’aquesta època uns documents sense data conservats en el Cartoral de Carlemany de Girona. Segons publica Pelagi Negre, Ponç Guillem, fill d’Em (o Ema), la seva muller Guilla i llur fill Guillem juraren fidelitat al bisbe Berenguer de Girona —segurament Berenguer Dalmau (1114-46)—. En el document és esmentada l’existència d’“lipsa fortesa que est vel erit in Torrocella de Montegrino”, la fortalesa que hi ha o que hi haurà a Torroella. El mateix Ponç Guillem, fill d’Em, segons publica J. Botet i Sisó, també féu tot sol un document d’homenatge al bisbe gironí Berenguer pels seus castells de Roca Maura i de Torroella (castellis videlicet de Rocha Maura aut de Torredella). També s’ha conservat en el Cartoral de Carlemany un altre jurament de fidelitat al bisbe Berenguer molt semblant al precedent, signat per Pere Ponç, fill de Guilla i, per tant, probablement també fill de Ponç Guillem. L’any 1128, en un document copiat en el Liber feudorum maior hi ha un Pere de Torroella (Petrus de Torredela); el document és una concòrdia entre el comte de Barcelona i el comte d’Empúries. En un document molt poc posterior, del mateix any i també relacionat amb el mateix afer que el precedent signat per Pere de Torroella, surt encara el nom de Ponç Guillem de Torroella. Segons Santiago Sobrequés, és molt probable que els senyors de Torroella fossin del llinatge dels comtes d’Empúries. Al començament del segle XII, Ramon de Torroella és esmentat com a Ramon de Peralada. Per un text de l’any 1132, sabem que eren germans Gausbert de Peralada, Ramon de Torreies (Torroella?) i Eimeric. L’any 1151, apareix un Bernat de Torroella que signa en un testament sacramental. Aquest Bernat de Torroella, segons Pere Català, l’any 1156, al mateix temps també era anomenat Bernat de Santa Eugènia; segurament entrà aquest cognom a la família arran d’un casament. L’any 1167, surt esmentat un Pere de Torroella en una escriptura d’empenyorament per part del comte d’Empúries de tot allò que tenia a Ullà. L’any 1202, s’esdevingué un conveni entre Pere de Torroella i Ponç Guillem, d’una banda, i el rei Pere I, de l’altra, pel qual els primers esdevenien homes del rei, en canvi de rebre la seva protecció. Sis anys més tard, el 1208, Pere de Torroella fou excomunicat pel bisbe de Girona. L’any 1208, els fills d’aquest Pere, anomenats Ponç Guillem de Torroella, Pere de Montgrí i Guillem, asseguraven a Arnau de Creixell, bisbe de Girona, que no intervindrien més en les qüestions eclesiàstiques relacionades amb l’església de Sant Genís, de la vila de Torroella de Montgrí. Ponç Guillem de Torroella, Pere de Montgrí i Bernat de Santa Eugènia, tots tres germans, eren presents, l’any 1226, en un acte de prestació d’homenatge fet per Gilabert de Cruïlles. Quan l’any 1226 morí Ponç Guillem, fou succeït pel seu germà Bernat de Santa Eugènia, que també tingué una activitat important, al costat del rei Jaume I, a l’illa de Mallorca. L’any 1265, ja s’havien construït unes muralles a la vila de Torroella de Montgrí. En aquesta data, la població fou eximida de fer obres al castell i als murs de la vila (nisi ad castrum vel ad murum ville Turricellae). L’any 1269, Sança de Santa Eugènia, casada amb el vescomte Guerau de Cabrera, bescanvià amb els Rocabertí el castell i la vila de Torroella en canvi de la baronia de Vilademuls. L’any 1272, es produí una nova permuta: Dalmau de Rocabertí bescanvià, amb l’infant Pere, Torroella de Montgrí i Albons per les baronies de Vilademuls i Sant Llorenç de la Muga. L’any 1275, l’infant Pere concedí, en canvi d’un cens, el castell de Torroella de Montgrí a Ponç de Gualba (o potser més aviat Gualta, a parer de Pere Català). El 1285, segons la crònica de Desclot, els tres fills del rei Jaume II de Mallorca foren duts presoners al castell de Torroella de Montgrí. En aquesta època, sota la direcció de Gilabert de Cruïlles es realitzaren obres al castell. Al final del segle XIII i començament del XIV, s’encarregà de tenir cura del castell Gispert de Pals. A la segona meitat del segle XIV, segons Pere Català, la baronia de Torroella era formada per Torroella de Montgrí, Ullà, Gualta, Fontanilles i Llabià. El rei hi tenia un procurador que actuava en nom seu. L’any 1384, a causa dels enfrontaments entre el rei i el comte d’Empúries, Torroella fou assetjada per terra i per mar. El castell degué restar mig malmès i abandonat. A causa d’això, l’any 1386, Violant de Bar, duquessa de Girona, ordenà que tots aquells que robessin pedres del castell reial de Torroella de Montgrí perdessin el puny. Després, el seu marit, Joan I, quan fou rei, anà sovint al castell palau de Torroella. Segons Joaquim Pla i Cargol, l’any 1397, poc després de la mort de Joan I, foren reconstruïdes les muralles de la vila de Torroella. Durant la guerra civil del segle XV, hi hagué diversos enfrontaments a Torroella. El 1471, la població fou assetjada per Joan II. La torre primerenca, el castell feudal i el palau reial —anomenat d’ençà del 1385 el Mirador— devien ésser situats al costat de l’església parroquial de Sant Genís, a la seva banda sud-oest. Actualment el Mirador és un edifici restaurat al final del segle XIX. Del castell feudal no es conserva pràcticament cap vestigi. Potser és, però, d’aquesta època una torre de planta quadrada que s’alça a l’angle nord-est d’aquest edifici; és feta amb pedres sense escairar. S’ha conservat també, en un mur proper a la torre, una finestra geminada de tipus primitiu, amb arcs de mig punt, i una finestra coronelía, també molt restaurada. Al pati central de l’edifici hi ha una galeria gòtica, de cap al segle XIV. Les muralles primerenques, que devien encerclar només el barri de la sagrera, degueren deixar d’ésser útils quan, al segle XIV, fou ampliada la zona emmurallada. Les restes conservades de llenços i de torres, segons Joan Badia, són del segle XIV, encara que també hi ha estructures dels segles XV, XVI i fins i tot XVII.