En aquest indret, donat el 1201 per Pere I de Catalunya-Aragó al cavaller Joan d’Almenara i al clergue Martí Vidal, a partir del s XIV, fundadors de l’orde de Sant Jordi d’Alfama, hi bastiren un castell i un hospital, seu d’un dels priorats de l’orde, unit al de Montesa des del 1399. De fet, però, l’orde anà abandonant el castell (els mateixos priors deixaren de residir-hi) i la defensa fou assumida, per la ciutat de Tortosa. El 1575, tanmateix, l’orde recuperà el control del castell, el qual fou bombardejat per galeres castellanes el 1650, durant la guerra dels Segadors; refet al s XVIII, serví encara durant la primera guerra Carlina. Les seves ruïnes són conegudes per les torres de Sant Jordi.