Es dreça al cim d’un turó que per l’oest domina la població i el Fluvià. És un notable edifici de l’arquitectura del segle XIV, format per un parell o tres de recintes emmurallats i protegits per una vall a llevant i tramuntana. Tenia al seu centre una torre semicircular protegida per un fossar. Sembla que inicialment només hi havia en el lloc una torre de defensa o una simple fortalesa, aquesta edificada entorn el 1250 per Guillem de Palera, per concessió del rei Jaume I. El lloc era propietat dels Creixell des del final del segle XII. Cap al 1380, el rei Pere III el Cerimoniós va atorgar potestat al seu metge Guillem de Colteller per a erigir-lo en castell termenat. Fou aleshores que es va fer la major part de les construccions actualment en ruïnes.