L’any 1225, és esmentat documentalment per primera vegada el castell d’Ullastret: “castrum de Oleastreto”. El comte d’Empúries, que en devia ésser el senyor, el cedí temporalment al bisbe de Girona, com a garantia d’un conveni, juntament amb la vila d’Empúries i amb el castell de Verges. Amb tot, és molt probable que aquest castell comtal ja existís en una època força anterior a aquesta data. Després de 1225, les notícies que fan referència a aquest castell també són força escasses. L’any 1309, el castell i la vila d’Ullastret consten entre els béns compromesos amb relació al casament del comte Ponç VI Malgaulí i Elisabet de Sicília. Jaume II de Catalunya-Aragó, el 25 de setembre de 1311, era a Ullastret (en aquest moment ja llatinitzat en castrum de Oculo Stricto) per lluitar contra el comte Ponç d’Empúries. L’any 1316, arran de la venda d’un bovatge, feta pel comte Ponç Malgaulí, apareix una nova referència al castell d’Ullastret. El 31 d’agost de 1385, segons Josep Pella i Forgas, Ullastret fou ocupat per les forces del rei Pere III, enfrontades amb les del comte d’Empúries, Joan I. Ullastret, juntament amb Castell d’Empordà, Sant Iscle i Monells, passà a dependre successivament, com a feu, dels Margarit (documentats l’any 1447), dels Sant Feliu (1458) i dels Senesterra (1462), famílies emparentades entre elles. L’any 1464, durant la guerra civil catalana del segle XV, segons Pere Català, el castell d’Ullastret fou encomanat al capità portuguès João de Moraes. Les muralles medievals del poble d’Ullastret, que Joan Badia i Homs data entre el segle XIII i el XIV, es troben en un estat de conservació força acceptable i hom pot resseguir-les sense gaire dificultat. Aquest clos circumda un petit nucli de carrers estrets i costeruts que hi ha situat al cim d’un petit turó. A la banda de ponent i de migjorn de l’església parroquial, situada al centre del clos murallat, hi ha una esplanada on hi devia haver emplaçat el castell, del qual, tanmateix, no ha restat cap vestigi que hagi pogut ésser detectat fins a l’actualitat.