Castissent s’aixeca dalt d’un turó a 721 m d’altitud, des d’on es domina la riba de la Noguera Ribagorçana, a uns 15 km a l’oest del nucli de Fígols.
La primera notícia d’aquest castell és proporcionada per l’historiador musulmà ibn ‘Idārī. L’any 904 el senyor de Lleida, Llop ibn Muhammad, sortí cap al comtat de Pallars i prengué, entre altres, els castells de Sarroca de Bellera, de Castissent i de Mola de Baro, i feu un gran nombre de morts i captius entre els quals el fill gran del comte Ramon, Isarn.
L’any 1066 Galind Bradila vengué al comte Ramon IV de Pallars una vinya situada al Castell Sant (Chastellum Sanctuum), a les Eres. L’any 1077 Sunyer Ramon, fill de Ramon IV, definí al seu germà Ramon V els castells de Muntanyana, Castissent i la vall d’Escós.
Al terme de Castissent es localitzaven també alguns dels alous amb els quals els comtes Ramon V i Valença havien dotat l’església de Santa Maria de Tremp i que l’any 1109 confirmaren els seus fills, el comte Pere Ramon I i el seu germà Arnau.
En el seu segon testament de l’any 1171 el comte Arnau Mir I deixà a l’orde de l’Hospital tot el seu comtat, excepte els castells d’Areny, Montanyana, Castigaleu i Castissent, que anteriorment havia cedit a la seva muller, la comtessa Òria d’Entença. Amb tot, establí que, a la mort d’aquesta, el seu fill, el comte Ramon Mir I, i la seva posteritat els tinguessin en feu per l’Hospital de Jerusalem.
L’any 1179 Arnau de Pallars, paborde de Mur, aplicà tots els fruits que percebia al terme de Castissent a la cambreria de Mur. L’any 1366 Pere el Cerimoniós va vendre el castell de Castissent amb el mer i mixt imperi del terme al comte Alfons de Riba-roja i Dénia. L’any 1831 Castissent pertanyia al marquès de Pallars.