Centrava l’antic terme del Coll de Balaguer. Les restes de la fortificació són aturonades a 155 m alt., a llevant de l’antic traçat (fins el 1936) de la carretera de Barcelona a València, al sud de l’important coll de Balaguer. És esmentat ja el 1201 en la donació de Pere I de Catalunya-Aragó a l’orde de Sant Jordi d’Alfama (incorporat el 1399 al de Montesa); per tal de fer cara al nou perill de la pirateria, la ciutat de Tortosa obtingué el trasllat de la casa de l’orde al nou castell de Sant Jordi, vora la mar, dins els termes de la ciutat. L’antic castell, molt reformat als s. XVII i XVIII, fou un dels punts on es fortificaren les tropes catalanes el 1640, al començament de la guerra dels Segadors, durant la batalla del Coll de Balaguer. El 1641 fou ocupat i fortificat per la cavalleria francesa per evitar les comunicacions dels castellans de Tortosa i Tarragona; els castellans el recuperaren el 1650.
El 1719 el lloc fou fortificat de nou amb la construcció del castell de Sant Felip, per ordre del rei, per acabar amb els bandolers i els constants desembarcaments corsaris i possiblement per evitar les escomeses molt freqüents que hi feien els carrasclets. La guarnició abandonà el castell, que fou confiat a voluntaris civils amb motiu de la Guerra Gran, el 1793. El 1803 Bourgoing el trobà defensat per les guàrdies valones. La sentència d’un plet que s’allargà del 1800 al 1805 donà els delmes a Tivissa, el duc de Medinaceli i el bisbe de Tortosa. El 1810 la divisió francesa d’Habert ocupà el fort i en tragué els 150 homes que el defensaven a les ordres de Serra; fou reconquerit pels espanyols i els anglesos al juny del 1813 i abandonat davant l’avançada de Suchet, fet que aprofitaren els anglesos, dirigits per John Murray, per volar-lo el 1814. El 1827 el cap dels malcontents del Camp, Joan Rafí, hi infligí una forta derrota als governamentals, però el mateix mes en foren foragitats per Carratalà.