L’església i hospital de Sant Elm foren fundats pel rei Jaume II de Mallorca el 1279. Esdevingué església parroquial. L’hospital desaparegué al començament del s. XVI i la vida parroquial s’extingí a causa de les incursions dels pirates. El 1531 fou construïda la torre de Sant Elm per a la defensa d’Andratx. El 1886 fou adquirit per l’arxiduc d’Àustria Lluís Salvador. A l’antic nucli pescador s’afegiren des del començament del s. XX cases d’estiueig, fins que, passada la meitat del segle, ha esdevingut un nucli de turisme.