Vers l’any 960 el comte Ramon II de Ribagorça bescanvià amb el monestir d’Ovarra la vil·la Silvi. L’any 1004 la comtessa Toda de Ribagorça donà al mateix monestir els alous que tenia a la vall Ribagorçana, entre els quals figuren els de Silvi. En l’acta de consagració de Santa Maria de Visalibons del 1060 es consigna el castell de Selva, que era dels senyors de Lierp. D’altres notícies posteriors parlen d’aquest indret proper a Visalibons. L’any 1211 Orraca de Capella va vendre al priorat d’Ovarra la vila de Visalibons “et illud podium quod vocatur Silve quod est infra termino predicte villule”. Ovarra s’assegurà el domini d’aquest indret amb les conegudes falsificacions del comte Bernat. Potser el castell de Selva era emplaçat vora l’ermita de Sant Sadurní (1 172 m d’altitud), al sud-oest de Visalibons.