La primera referència conservada del castell de Verges és de la primera meitat del segle XII. En un llevador de les albergues que rebia el comte de Rosselló a l’Empordà s’inclou l’honore de castello Virginum. Aquest castell era dels comtes d’Empúries. L’any 1225, el comte Hug IV d’Empúries donà al bisbe Alemany de Girona, com a penyora, el castell de Verges (castrum de Virginibus), juntament amb el castell d’Ullastret i la vila d’Empúries. Segons Rafael Torrent, al final del segle XIII, Bernat Amat de Cardona —germà del vescomte Ramon Folc de Cardona— tenia en feu pel comte d’Empúries el castell i la vila de Verges. Segons Santiago Sobrequés, aquest Bernat Amat es dedicà a saquejar diverses localitats empordaneses que depenien del bisbe de Girona; morí l’any 1310. Les activitats del batlle del castell de Verges, que representava el comte d’Empúries, els anys 1329 i 1357, també foren motiu de diverses queixes. Quan cap a l’any 1385 el comte Joan I d’Empúries s’enfrontà amb el rei Pere III, el castell de Verges i els de la Tallada, Bellcaire i Sant Martí d’Empúries tingueren un paper important; foren lliurats a mercenaris gascons. Les hosts del rei, dirigides per Bernat de Fortià, assetjaren i finalment ocuparen la població de Verges. L’any 1399, com trobem esmentat en Els castells catalans, el comte Joan d’Empúries vengué el castell i la vila de Verges —que li havien estat expropiats pel rei i després retornats—, juntament amb la Tallada i Bellcaire, per 11 000 sous, al seu germà Pere. La dona de Pere, Joana de Rocabertí, ordenà, l’any 1401, en morir el seu marit, l’inventari de tots els béns d’aquest, entre els quals és esmentat el castell i la vila de Verges. L’any 1418, el vescomte Dalmau de Rocabertí entrà en possessió de la baronia de Verges. L’any 1454, mentre el vescomtat de Rocabertí era heretat per Jofre, el fill primogènit, Verges, amb la seva baronia, passà a dependre de Martí Joan de Rocabertí. Durant la guerra catalana del segle XV, segons Pere Català, Verges fou ocupada dues vegades —el 1466 i el 1471— pels partidaris del rei Joan. El castell de Verges era situat a la part alta del puig on es troba emplaçat el nucli emmurallat de la població medieval. L’únic vestigi que resta d’aquest castell és un mur que actualment forma part de la paret posterior de la Casa de la Vila, el qual sembla que devia haver estat bastit al segle XIV o XV. A la vila de Verges, també s’han conservat diversos llenços de muralla i diverses torres. La major part de les muralles poden ésser datades vers el segle XIII o el XIV; una de les torres és, però, del segle XV o el XVI.