A la segona meitat del segle XI es féu una convinença o pacte feudal entre Bonfill, fill de Jocelenda, i els comtes Ramon Berenguer I i Almodis, per la fortalesa de la Tallada (forteza que dicunt Talada). Tot i que el document no ho diu, sembla que aquest Bonfill era senyor de la Tallada d’Empordà (i no de la Tallada de la Segarra). En el text, amb relació a aquesta fortificació, s’esmenten els homes i les dones que hi havia i també la possibilitat de fer altres habitatges al seu voltant (aliqua edificia ad ospitandum… in circuitu iam dicta forteda). La confusió entre les dues poblacions homònimes continua essent possible quan trobem en el Liber feudorum maior un Humbert Josbert de la Tallada, l’any 1079, amb relació al castell d’Anglesola (a la comarca de l’Urgell), i un Humbert de la Tallada, el 1111, en un document dels comtats de Besalú i Cerdanya, que signa al costat de Dalmau de Peratallada i de Riambau de Baseia. L’any 1128, aquest Humbert de la Tallada apareix en el document de submissió que imposà Ramon Berenguer III al comte d’Empúries, Ponç Hug I. L’any 1271, apareix novament esmentat el castell de la Tallada —i el de Verges—, quan el comte Hug d’Empúries vengué les joves —serveis de treball— que li devien en aquests castells. L’any 1309, el comte Ponç d’Empúries cedí com a fermança matrimonial per al seu fill Ponç Hug (Malgaulí) la Tallada, juntament amb d’altres viles i castells. Abans de l’any 1316, Ponç Hug, havent mort el seu pare, vengué el castell de la Tallada (castrum de Talliata) a Francesc Otger. Probablement, però, el pogué recuperar l’any 1316. Durant els enfrontaments que hi hagué entre el comte Joan I d’Empúries i Pere III, el comte d’Empúries cedí els castells de la Tallada, i també els de Verges, Bellcaire i Empúries, al capità Bita. El 1385, fou, però, ocupat pel rei que, segons Francesc Monsalvatje, l’incorporà a la corona. Tanmateix, el 1387, fou retornat al comte Joan. L’any 1418, la Tallada i la resta de la baronia de Verges foren heretades pel vescomte Dalmau de Rocabertí. Durant la guerra civil catalana del segle XV, la Tallada i Verges es rendiren a les forces del rei, per primera vegada, l’any 1466, i, després, havent estat recuperades aquestes poblacions pels enemics del rei Joan, novament l’any 1471. S’han conservat fins a l’actualitat restes de muralles i de diverses torres. La major part d’aquestes construccions són del final de l’edat mitjana o fins i tot ja de l’inici de l’època moderna. La torre més antiga és una de planta circular, situada a la banda meridional. Tot i que aquest edifici encara és dins la tradició romànica i que recorda altres torres tardanes que hem inclòs —com per exemple la de les muralles de la població de Sant Iscle d’Empordà—, per alguna de les seves característiques, com pot ésser el talús que té a la part inferior, sembla que ja l’hem de considerar més del segle XIV que no pas del segle XIII.