El castell de Fet era enlairat sobre un cingle colossal (765 m) que domina la ribera dreta de la Noguera Ribagorçana, entre els barrancs de la Canal i de la Font. L’any 1045 consta ja Arnau Mir de Tost com a conqueridor de tota aquesta banda de la vall, de manera que en el futur aquestes terres restarien vinculades al vescomtat i a l’abadiat d’Àger. L’any 1059 Exabell deixà als seus fills Ramon, Bernat i Guillem la meitat d’una vinya que tenia a Fet. Es tracta de la primera notícia de l’indret. En la dotació fundacional de la canònica de Sant Pere d’Àger del 1068, Arnau Mir de Tost i la seva muller Arsenda van concedir a Sant Pere el castell de Fet. Un instrument del 1072 parla de la fortitudine de Fet dins el castell de Bellmunt. Malgrat la donació del 1068 el castell de Fet va ser retingut pels Cabrera, hereus d’Arnau Mir de Tost. L’any 1074, en la convinença sobre l’honor d’Arnau Mir de Tost, el comte Ermengol IV d’Urgell concedí en alou als futurs vescomtes d’Àger el castell de Fet i tots els altres situats entre la Noguera i el Guart, el Montsec i Hispània; amb tot, el comte Ramon IV de Pallars Jussà reivindicava drets en aquest castell vers el 1086.
El 15 de gener de 1092 el vescomte Guerau II Ponç de Cabrera donà el castell de Fet a Estefania com a part de la dècima corresponent al seu esponsalici. Aquest mateix vescomte encomanà dit castell amb les rendes que hi tenia a Arnau Pere de Girbeta (1129). Abans de morir, però, el va restituir a l’abadia de Sant Pere d’Àger, amb els seus dominis senyorials, per tal de reparar els torts. Poc després Guerau II Ponç va convenir amb Pere Oliver i el seu germà Ramon que aquests tinguessin en lloc d’ell el castell amb certs drets, en canvi de retre-li jurament de fidelitat i vassallatge, sota l’alt domini de l’abat de Sant Pere.
L’any 1191 Alfons el Cast i Ermengol VIII d’Urgell acordaren, entre altres coses, que el rei arrabassaria al vescomte d’Àger el castell de Fet. Pere el Catòlic, després d’empresonar Guerau Ponç IV, concedí els castells del vescomtat en guarda a Hug de Torroja i Ramon de Montcada. Guerau IV de Cabrera deixà el castell de Fet als ordes militars de l’Hospital i del Temple l’any 1204, cosa que no va ésser efectiva car no ho va confirmar en el segon i definitiu testament (1233). En aquest moment, però, la senyoria feudal de Fet apareix vinculada als Torroja d’Urgell. L’any 1249 Berenguer de Torroja llegà a la seva filla els castells d’Àger, Claramunt, Fet, Finestres, Blancafort, Algerri i Ivars; després passà, segons sembla, als Conques de Pallars. L’any 1271 Arnau de Conques assegurà el dot de la seva muller Guillema, quatre-cents morabatins, amb el lloc de Fet. Al segle XV Fet, com la resta del comtat d’Urgell, passà a la corona catalano-aragonesa. A l’edat moderna formà part del quart comtat de Ribagorça. Al segle XVII consta en poder dels Àger, els drets dels quals foren heretats finalment pels Calassanç i Abarca, senyors de Ramastué, l’Estall, la Cerulla, Vallsegura i la quadra de Bellmunt.