Fins a la segona meitat del segle XIII, només hi ha referències al lloc de Palafrugell; així, per exemple, l’any 988 i el 991, en sengles documents surt “Palau de Frugell”. Aquest palau, primer element del topònim, degué ésser un edifici de l’època carolíngia o, fins i tot, potser de l’època visigòtica. Palafrugell fou dels comtes de Barcelona fins a la mort del rei Alfons I. Segons Joaquim Miret i Sans, l’any 1257, en un document fet per Jaume I, s’esmenta el castell i la vila de Palafrugell; aquest document és un decret de protecció concedit per aquest monarca a favor de l’orde del Sant Sepulcre de l’església de Santa Anna i dels dominis que tenien a Palafrugell. Pel testament del rei Alfons I de Catalunya-Aragó, de l’any 1196, la vila de Palafrugell havia passat a dependre de l’orde del Sant Sepulcre. A partir de la segona meitat del segle XIII, hi ha diversos documents on ja s’esmenta el castell de Palafrugell. Així, per exemple, en un document de l’any 1298, es diu: “Monte Raso, termini castri de Palafrugello”. L’any 1387, segons J. Botet i Sisó, el rei vengué al prior de Santa Anna l’alta jurisdicció criminal d’aquest lloc; abans el prior ja posseïa la jurisdicció civil. Al final del segle XIV, l’any 1390, es prengueren mesures per defensar el castell, davant un probable atac francès. Hom comprà dues bombardes grosses i una de petita, bombes, cordes per a les ballestes, etc. L’any 1471, durant la guerra civil, Joan II vengué les jurisdiccions civil i criminal del castell de Palafrugell a Bernat Margarit, senyor del Castell d’Empordà. Malgrat això, sembla que els drets que hi tenia la casa de Santa Anna de Barcelona continuaren essent importants.
No ha restat cap vestigi del castell del segle XIII, que segons J. Badia era situat entre els carrers Aliada i dels Valls.