El poble de Llarvén es troba a 1.025 m d’altitud, a la riba esquerra del barranc de Montardit, a un quilòmetre escàs de distància del nucli d’Enviny en direcció sud-oest. El castell es troba entre els dominis que al segle XI es debateren entre les dues branques comtals successores del comte Sunyer i que es negociaren en dues de les convinences que posaren fi als enfrontaments: la definició de vers el 1079 entre Ramon V de Pallars Jussà i el seu cosí Artau I de Pallars Sobirà, i la commutació del 1094 entre Ramon V i Artau II.
El domini eminent del castell romandria en endavant sota la titularitat dels comtes de Pallars Sobirà fins que, acabada la guerra del Pallars, passà a integrar el nou marquesat de Pallars dels ducs de Cardona.