De l’antic convent romanen escasses restes, i la tradició assenyala algunes coves veïnes com a lloc on feien penitència els dotze primers frares. També ha estat dit que prop seu, al cap de Sant Martí, hi hagué el primitiu monestir Servità. La comunitat de jerònims de Xàbia fou capturada pels pirates el 1386 i els seus frares foren venuts com a esclaus a Bugia. El 1388, el duc de Gandia els rescatà i els oferí aixopluc a Cotalba (Safor), on fundaren el monestir de Sant Jeroni de Cotalba.