La decadència de la ciutat romana motivada per les invasions dels segles III i V i per les males condicions naturals del port motivaren que la població d’Empúries, a l’alta edat mitjana, es refugiés al promontori de Sant Martí (l’església és esmentada ja el 842). Esdevingué la primitiva capital del comtat d'Empúries fins a les invasions normandes del segle IX; el comte Gausbert féu restaurar o reedificar la població el 927.
A partir del segle XV es formà el nucli de l'Escala, i les seves condicions més favorables com a port feren que al segle XVIII suplantés Sant Martí com a cap del municipi. La població anà minvant i moltes cases s’enderrocaren, fins que, modernament, a partir sobretot dels anys cinquanta i en part gràcies al boom turístic, el vell nucli ha estat refet, moltes cases han estat restaurades i habilitades com a llocs de segona residència i s’ha creat també una urbanització de torres i xalets extramurs.