La ciutat de Sant Carles de la Ràpita s’emplaça prop de la costa, a l’entrada del port dels Alfacs, i és la successora de l’antic lloc de la Ràpita, d’origen andalusí. El topònim de l’indret és un terme àrab (rabita o ribat), que correspon a una fortificació o castell amb una funcionalitat a la vegada religiosa i militar. Al segle XII, el geogràf àrab al-ldrïsï va descriure l’edifici que hi havia a la Ràpita com “una ràpita formosa, forta i inexpugnable vora la mar i que disposava d’una guarnició brava”. Paral·lelament les fonts cristianes confirmen que el 1097, quan encara no s’havia conquerit la zona, el comte Ramon Berenguer III de Barcelona donà el castell de la Ràpita al monestir de Sant Cugat del Vallès. Aquesta donació fou confirmada el 1150 pel comte de Barcelona Ramon Berenguer IV. Els monjos de Sant Cugat establiren al castell de la Ràpita un priorat, Santa Maria de la Ràpita, a redós del qual iniciaren la repoblació i la colonització de la zona.
A partir de la conquesta de Tortosa el 1148, aquest lloc havia estat cobejat pels hospitalers d’Amposta, fet que ocasionà diversos plets entre els dos establiments religiosos. Finalment el 1260, el monestir vallesà vengué als hospitalers ampostins el terme de la Ràpita amb el castell, que aquests anys de vegades també és esmentat com a castrum de Rippa de Cascayo, és a dir, castell de la Ràpita de Cascall. El 1280, la senyoria del lloc i terme de la Ràpita passà a ser de jurisdicció reial.
L’any 1290, la comanda hospitalera d’Amposta establí una comunitat femenina, amb monges procedents de Sixena, a l’antic monestir benedictí de Santa Maria de la Ràpita. Les monges santjoanistes s’instal·laren al mateix edifici conventual anterior i gaudiren de l’ajut de les comandes hospitaleres veïnes d’Ulldecona, d’Amposta i de Tortosa. Les religioses patiren diversos saqueigs de corsaris i pirates; per aquesta raó, el 1327 acudiren a la protecció reial. El 1390, vetllant per la seguretat del monestir, la ciutat de Tortosa manà construir les talaies de Montsià i de Puigmoltó. Les constants incursions turques al segle XVI feren que les monjes santjoanistes es traslladessin definitivament a Tortosa el 1579, i l’antic convent restà així mig abandonat. En l’actualitat les restes del castell medieval formen la base del mercat municipal.