El lloc i terme d’Horta apareixen citats per primera vegada el 1153, en el document de donació del castell de Miravet a l’orde del Temple. Sembla, però, que Horta no passà definitivament a domini cristià fins a les campanyes d’Alfons el Cast per les ribes de l’Algars i del Matarranya dels anys seixanta del segle XII. El 1165 rebé del rei Alfons el Cast la primera carta de poblament de la Terra Alta, basada en el fur aragonès. En aquest document el rei es reservava el castell d’Horta. L’any següent els Montcada, que hi tenien determinats drets, el lliuraren a Pere de Subirats. Pocs anys després el castell i terme d’Horta passaren als templers. L’any 1174 el rei Alfons donava a l’orde del Temple el castell d’Horta, amb els seus termes i pertinences, en lliure i franc alou. El 1182 Ramon de Montcada, per 1 000 morabatins, renuncià a la seva part sobre el castell i el Temple n’esdevingué senyor únic.
Quan els templers reberen Horta es plantejaren la repoblació definitiva del lloc. En la concòrdia entre el bisbe de Tortosa i els templers de l’any 1185, el primer cedí al Temple la tercera part del delme del castell d’Horta i s’establí que l’orde repoblés el lloc. El 1192 el mestre provincial del Temple, Ponç de Rigalt, concedí una nova carta de poblament als habitants d’Horta. Aquesta nova carta estava basada en el fur de Lleida.
El castell d’Horta fou segurament la primitiva seu de la comanda templera d’Horta, que és documentada des del 1193. Seguí les mateixes vicissituds que la resta de possessions de l’orde del Temple i el 1317 passà als hospitalers, que en foren senyors fins al segle XIX.
El castell era situat a la part més alta de la vila. Només en resta el topònim i algun tros de mur entre les cases de l’indret. El traçat dels carrers d’aquest sector assenyala la situació de les muralles. La visita prioral del 1535 feta pel castellà d’Amposta dóna una mica d’informació sobre el castell i les seves dependències. En el capítol de manaments, el castellà ordenà que fossin reparats dos portals de la barbacana de la fortalesa i que immediatament es posessin “dos maderos que faltan en la cámara dentro de la sala de la misma fortaleza de Orta porque no se pierda Ia cubierta”. En un altre lloc, parla de la capella dedicada a sant Miquel, que era “de vaxo del castillo” i calia que es reparés urgentment.