A l’alta edat mitjana sembla que a Cadaqués hi havia un condomini entre el comte d’Empúries i el monestir de Sant Pere de Rodes. La població de Cadaqués, a causa de la seva situació, aviat fou fortificada, fet que potser motivà que tant fos anomenada castell com vila. L’any 1280, en una carta de franquesa atorgada per Ponç Hug, comte d’Empúries, a la vila i al castell de Cadaqués, és esmentat per primer cop el terme castell amb relació a aquest lloc. De fet, tal com indica Pere Català (Els castells catalans, vol. 2, Barcelona 1969, pàg. 367), segurament la població s’havia convertit en un castell fortificat. Tampoc no es pot, però, rebutjar totalment la possibilitat que hi hagués un castell al costat de la vila. A la Crònica de Bernat Desclot també es fa menció, amb relació als fets de l’any 1285, del castell de Cadaqués. Els habitants de Cadaqués, segons la Crònica, en veure com anaven les coses, reteren la població a Roger de Llúria, que “quan tench la vila e lo castell de Cadaqués, romàs-se aquí, dins lo port”. El comte d’Empúries i vescomte de Bas, Malgaulí, hagué de vendre, l’any 1316, la lleuda i d’altres rendes i drets del “castri nostri de Cadacheriis”. L’any 1402, Martí l’Humà concedí un privilegi als homes del castell de Cadaqués. Cadaqués sofrí molts atacs de pirates. Així, el de l’any 1444 fou greu. El 1475, s’afirma que calia que el “dit castell e dita vila sien reparades”, ja que es trobaven en molt mal estat. Els atacs i saqueigs encara sovintejaren més al segle XVI. De les muralles medievals, que devien cloure la vila situada al cim del turó, i de l’hipotètic castell resta poca cosa. El vestigi més important és, arran de mar, a Sa Punta des Baluard, on hi ha una bestorre, actualment emblanquinada.