La imponent massa del castell s’aixeca en un petit promontori damunt la mar, entre la desembocadura del Gaià i la punta de la Móra. La seva estructura medieval s’ha conservat en bona part sota les importants reformes fetes modernament pel ciutadà nord-americà Charles Deering, el qual adquirí el castell i l’abandonada població; en conserven la propietat els seus descendents. L’església del castell, que esdevingué parroquial (Santa Maria), és d’origen romànic.