Hom desconeix exactament on era situada aquesta fortalesa. La primera menció del castell i el lloc de Castellpagès és de l’any 1184, amb motiu de la concessió, feta pel rei Alfons I a Ramon de Cervera, del dret de prendre aigua a la sèquia que anava de Castellpagès a Gebut. Segurament el terme de Castellpagès restà integrat a la casa templera de Corbins. L’any 1212 els frares templers Ramon Berenguer d’Àger, preceptor de Gardeny i de Corbins, i Ramon Oller, procurador de la casa de Corbins, concediren una carta de població i franqueses amb l’objectiu de fundar una villa nova entre Zaguilar et Castro Pagesio (actual Vilanova de la Barca), sembla que amb la intenció d’agrupar el poblament del marge esquerre del riu Segre, principalment els hominibus et feminabus de Zaguilar et de Castro Pagesio.