Aquest castell era situat a ponent de la població, a la part més enlairada. L’origen de la localitat, segons J. Lladonosa, es remunta a la repoblació que el cavaller Pere de Montoliu féu del terme d’una torre islàmica a partir de l’any 1178. El 1213 el rei Pere I donà el castell de Montoliu al canonge de Lleida Pere de Todenyà. Al segle XIV el lloc tenia 24 focs. L’any 1831 era de jurisdicció del capítol de la seu de Lleida.
Actualment no queda res del castell, a excepció del nom del carrer que puja a la part més alta de la població, on s’ha fet una placeta mirador, acabada al desembre del 1996, que té una barana de blocs prefabricats però posats de manera emmerletada com a record de la vella fortalesa. Pel pendent occidental es veuen encara algunes pedres que podrien correspondre al castell, el qual va servir, segons l’opinió popular, per a bastir l’actual temple parroquial. Solament hi ha un parell de pedres in situ que suggereixen el lloc per on passava un antic mur.