El castell d’Anglès no surt documentat fins al 1242; tanmateix, durant el segle XII hi ha esments de senyors d’aquest lloc. L’any 1122, Ramon Arnau d’Anglès va rebre en feu del bisbe de Girona el castell de Sant Sadurní. L’any 1155, segons Botet i Sisó, Berenguer d’Anglès evacuà en el bisbe gironí les exaccions que retenia injustament a les parròquies de les Planes, les Encies, Sant Iscle de Colltort i Camós. Segurament aquesta era la zona d’influència d’aquests senyors. El 1166, Berenguer d’Anglès era feudatari del vescomte de Girona, Guerau Ponç II. L’any 1242, Guerau de Cabrera llegà en feu el castell d’Anglès al seu segon fill Ramon de Cabrera i, el 1275, Ramon de Cabrera, casat amb Alamanda hi va afegir els de Brunyola i Montclús. El 1279, Ramon de Cabrera i sa muller vengueren el castell d’Anglès a Berenguer de Gornal, ciutadà de Girona, el qual traspassà els drets a Guillem Gaufred, clergue i tresorer de la seu de Girona, l’any 1282, a canvi de 19 000 sous barcelonins de tern. En aquest moment, vers el 1279, segons E. C. Girbal, els castlans d’aquesta fortificació eren Bernat d’Anglès i Beatriu de Requesens. Malgrat tot això, sembla que els Cabrera hi continuaren tenint uns certs drets. El terratrèmol de l’any 1427 afectà especialment el castell d’Anglès, com diu una font de l’època. Això no obstant, tingué encara un paper durant la guerra civil catalana del segle XV i durant la revolta dels remenees; Pere Joan Sala manà el 1485 que fos enderrocada la torre mestra d’aquest castell d’Anglès.