A ponent del promontori hi ha la cala de Sant Elm. El 1203 hom bastí en aquest indret la torre de Sant Elm per a defensa i vigia. Enderrocada posteriorment, el 1542 hom bastí una ermita (on des del 1474 fins al 1680 fou venerada una relíquia del Sant Drap) i un castell de planta quadrada amb torres als angles. Era regit per un governador. Fou destruït per les tropes franceses l’any 1696. L’ermita fou reedificada el 1723 i els jurats de la vila la dedicaren també a la Mare de Déu del Bonviatge, juntament amb sant Elm, patró de mariners, pelegrins i navegants. Tenia un notable altar barroc. Restaurada el 1929, fou destruïda el 1936 i refeta novament a partir del 1943. Des del 1955 hom renovà per la festa del sant la tradicional processó marítima. Al voltant del lloc hi ha una urbanització residencial.