El lloc de Tornabous fou conquerit pel comte Ermengol IV d’Urgell al segle XI. L’any 1139 Ermengol VI, comte d’Urgell, cedí les quadres de Tornabous i d’Almenara a un tal Ramon Arnau. La primera notícia del castell de l’indret data de l’any 1156, en què Ramon Hug i la seva muller Ermessenda donaren per aixovar a la seva filla Adalèsia i al seu marit Pere de Granollers una heretat a Montsuar i una peça de terra i una casa situades in kastrum de Tornabous.
A la darreria del segle XII consta que tenien drets a Tornabous els Ribelles; així, l’any 1172 Gombau de Ribelles i la seva esposa Marquesa de Cabrera signaren una carta de concòrdia amb Arnau de la Guàrdia i la seva muller Ermessèn sobre els drets del castell de Montsuar i la dècima que extreien del lloc de Tornabous. Pocs anys més tard, en l’acta testamentària de Gombau de Ribelles i Marquesa, datada el 1179, es torna a esmentar l’indret de Tornabous.
L’any 1307 el rei Jaume II, en atenció a una reclamació feta pel comte Ermengol X d’Urgell, li cedí Tornabous conjuntament amb altres localitats properes. L’esmentat comte es degué vendre el lloc a Pere Gener, ja que l’any 1318 consta que aquest li va vendre a Ponç de Copons, abat del monestir de Poblet. A partir d’aquest moment el cenobi pobletà tindrà el domini sobre Tornabous, senyoria que arrodoní el 1414, en què el rei Ferran I va vendre a l’abat el mer i mixt imperi; la jurisdicció de Poblet a Tornabous es mantingué fins a la desamortització del segle XIX. Tanmateix, el castell de Tornabous sembla que pertangué als Lloria, que el reformaren profundament durant el segle XVI. Avui dia, totalment restaurat, serveix de casa del comú.