El poble de Freixenet de Segarra és situat al sector occidental del municipi. L’indret fou conquerit, com molts altres nuclis veïns, vers mitjan segle XI, època en què es procedí a la colonització del territori dels voltants de Cervera. Les primeres mencions del castell de Freixenet daten dels anys 1064 i 1085, quan consta que el seu terme confrontava amb el del proper castell d’Amorós.
Molt probablement fou a la darreria del segle XI o a l’inici del XII quan del lloc de Freixenet sorgí una família del mateix nom, la qual devia tenir la castlania de la fortalesa de Freixenet com a feudatària dels Cervera, els quals en detenien el domini eminent. L’any 1133, en el testament sacramental de Guillem Dalmau de Cervera, jurat sobre l’altar de Sant Martí de l’església parroquial de Santa Maria de Cervera, consta que llegà al seu nét Guillem, entre molts altres castells, el kastrum de Frexaned amb tots els seus drets.
Segons el fogatjament dels anys 1365-70, Freixenet tenia 3 focs i era de Pere d’Oluja. A la darreria d’aquesta mateixa centúria n’era senyor Pere de Niubó i el 1408 pertanyia a Ramon de Pinós. El 1426, mentre n’era batlle Bernat Pereta, prengué possessió del castell de Freixenet, amb tot el seu territori, feus i vassalls, l’abat de Sant Vicenç de Cardona, Guillem Mitjans. (ABR)
Malauradament no hi ha cap vestigi de la vella fortalesa que degué originar la població. Sembla que el que restava del castell fou enderrocat per a aprofitar-ne les pedres en la construcció de noves edificacions, entre les quals la mateixa església. El progressiu retall al qual s’ha sotmès el tossal on s’assenta el poble ha deixat al descobert, a la banda est, una sèrie d’estructures de murs pertanyents a una construcció que podria correspondre a alguna ampliació de la primitiva fortalesa. (JRG-DRR-JIR-JMT)