Abans de l’any 1290, s’havia construït a Palamós un palau, situat al Pedró, a la part més alta del turó on hi ha actualment el poble. En aquesta data, segons Josep Pella i Forgas, el rei donà permís a Guillem Baster perquè pogués fer obres i millores en aquest palau, que havia de servir com a habitatge del monarca quan fos en aquest lloc. L’any 1327, el rei Jaume II anomenà aquest edifici com a “hospitium sive palatium nostri loci de Palamors”. En aquesta època, el palau reial (palatium regium) era tingut pel rei per Guillem Bru de Girona. L’any 1327, era en mans de Bernat Pallarès, que tenia llibertat de fer-hi construccions. L’any 1331, el rei autoritzà la realització de muralles i de valls en aquest palau de Palamós. El 1380, tanmateix, la construcció era mig enrunada; la tenia Pere Pallarès, fill de Bernat Pallarès. Durant uns quants anys, hom destinà deu lliures cada any a la reparació i la reconstrucció de l’edifici; després aquests diners foren dedicats a fer obres a les muralles que circuïen el palau. Segons Lluís Camós, l’any 1394, Pere Pallarès vengué a Berenguer de Cruïlles els drets que tenia en aquest palau reial per 3 000 sous. No ha restat cap vestigi d’aquest palau dels reis catalano-aragonesos, que, ja al final del segle XVII, en part a causa d’un atac francès, era molt destruït.