Una de les primeres mencions del lloc de Torroja (Torrogia) data de l’any 1261, quan el prior del cenobi cartoixà d’Escaladei atorgà una carta d’establiment d’una granja en aquest indret a una trentena de pobladors, als quals uns anys més tard se n’afegiren uns altres vint, mitjançant un nou document d’establiment. D’altra banda, el lloc de Torroja és esmentat en la carta de poblament de Poboleda datada el 27 de març de 1270, i atorgada per Bernat de Déu, prior d’Escaladei; entre les afrontacions territorials del lloc de Poboleda, donat pel prior per tal d’habitar-lo i conrear-lo, hi figura el terminis de Torrogia. És indubtable, doncs, que en aquest moment existia a l’indret la dita “Torre Roja” —les escasses restes de la qual es troben avui dia al Carrer Major del poble—. Com sembla pels documents citats, la torre possiblement donà origen al topònim de la població.
Tot i que es desconeixen notícies documentals concretes sobre aquesta torre, hom sap que la població estigué sota el domini jurisdiccional de la cartoixa d’Escaladei, el prior de la qual en percebia les rendes. Al segle XIV, el rei Jaume II atorgà el domini directe i el mer imperi al comte de Prades. Tanmateix, el lloc restà sota la senyoria d’Escaladei fins al segle XIX.