La localitat de Santa Fe de Segarra se situa a la riba esquerra del Sió, uns 4 km al nord de Cervera. Aquest indret, originàriament integrat dins la marca del comtat de Berga, degué ser ocupat entre el 1035 i el 1043, anys en què també es repoblà el sector de les Oluges. El “terminum de Santa Fide” és ja mencionat amb anterioritat en l’inventari dels béns i drets del comte de Cerdanya a Montfalcó, que hom pot datar cap al 1025.
La història del castell de Santa Fe és ara per ara força desconeguda. Al segle XII hi ha documentat un llinatge anomenat Santafè amb importants interessos a la Segarra i a la comarca de l’Urgell. Aquesta nissaga segurament procedia del Solsonès. El 1128 ja es coneix Galceran de Santafè, que tenia drets al voltant de Tàrrega. El 1172 actua al terme Arnau Miró d’Odèn, antecessor dels cavallers de Santafè. El 1244 el matrimoni Ponç de Santafè i Berenguera reberen les rendes que Ponç de Vilaró i Pere de Conques tenien en tot el terme de Santa Fe per tal de pagar els creditors d’aquests senyors.
El 1352 era senyor de Santa Fe Bertran de Fals, i segons els fogatjaments de 1365-70 aquest indret, amb 29 focs, era senyorejat per Bartomeu de Fals. El terme havia passat als Calders l’any 1430, els quals van retenir-ne el domini fins al segle XVII. Durant aquesta centúria passà per parentiu als Pinós i Alentorn, marquesos de Barberà des de l’inici del segle XVIII. (ABR)
A la població de Santa Fe de Segarra poc resta, de fet, del primitiu castell medieval i de les muralles que l’encerclaven, ja que la majoria d’estructures i murs actualment visibles corresponen a la reforma que s’obrà a l’edifici a partir del segle XVI, d’estil plateresc, amb la qual va esdevenir una luxosa residència. Alguns murs del costat nord, reforçats per talussos posteriors, poden correspondre al moment baixmedieval de la fortificació. Una magnífica porta d’arc de mig punt, amb unes dovelles de considerable llargada, i una torre de planta rectangular, amb espitlleres i porta elevada a nivell del camí de ronda de la muralla, són les restes més monumentals d’una muralla que tancava la població probablement a partir del segle XIII. Ara bé, les estructures indicades corresponen més aviat als segles XIV i XV. (JRG-DRR-JIR-JMT)