L’antic poble de Castellviny es troba enclavat al cap de l’anomenat penyal de Castellviny (1.000 m d’altitud), a la dreta de la Noguera Pallaresa, damunt del poble la Bastida de Sort i equidistant dels nuclis de Pujalt i Olp. Si fem cas de la toponímia, en aquest indret hi podria haver el castell d’Enviny, encara que la distància entre Enviny i Castellviny és considerable.
Vers el 970 es documenta la villa Imbicinio que segurament correspon a l’actual llogaret d’Enviny, i el castell és esmentat per primera vegada l’any 1081 com el terme on es localitza un capmàs que el comte Artau I donà al monestir de Gerri. Els primers anys del comtat d’Artau II (abans del 1088) s’hi dirimí un plet en presència seva, del seu germà Ot, de llur oncle Ramon Guillem, de la comtessa Llúcia i de diversos bonorum hominum.
La senyoria d’Enviny fou detinguda directament pels comtes de Pallars fins a la fi de la guerra civil (1497), moment en què fou traspassada als Cardona.