Pertanyia a la parròquia de Santa Eugènia de Vila-romà i a la jurisdicció del capítol de Girona. El comprà, amb el seu terme, el rei Pere II el Gran, l’any 1277, que hi creà el port i la vila de Palamós. Enderrocat pràcticament durant les guerres dels remences, restà abandonat i vers els s. XVI-XVII fou convertit en masia. De la fortalesa només es conserven algunes bases de torre i de murs. No hi ha cap vestigi de la capella dedicada a sant Esteve, esmentada al segle XIV. Prop seu es bastí al segle XIX l’esglesiola de Sant Esteve. Modernament han estat descobertes restes preromanes similars a les del poblat de Castell, de la punta de Castell.