Era un dels castells que defensaven l’engorjat del Baridà, lloc de pas entre l’Alt Urgell i la Cerdanya. El lloc d’Ansovell s’esmenta amb la forma Nassobell en l’acta de consagració de la Seu; tanmateix, la més habitual des del segle XIII és la de Nansovel o Nansovell. L’origen del castell és confús, sembla que pertanyia inicialment als comtes de Cerdanya, que l’infeudaren amb altres castells veïns (Cava, Queralt i Sant Martí dels Castells) a la família Pinós. El 1277 Galceran III de Pinós llegà al seu fill, anomenat també Galceran, tot el que ell tenia i els seus avantpassats havien tingut en els castells abans esmentats, i en especial “in castro de Nansovel”. El domini del castell i del lloc continuà sempre més en la mateixa família refosa amb els vescomtes d’Évol, d’Illa i Canet, els comtes de Guimerà i els ducs d’Híxar. La resta de mencions del castell fan només referència a les transmissions de domini o esment de béns del terme del castell; enlloc no s’ha trobat cap al·lusió a l’edifici o fortalesa, de la qual no es conserven restes visibles. El lloc fou fortificat al segle XVII per a resistir les invasions franceses, però ja no es troben mencions al castell, situat potser sobre el solar del poblat actual.