Una de les primeres referències del castell de Suert data de l’any 956, quan Quint, en professar com a monjo al monestir de Santa Maria de Lavaix, li féu diverses donacions, entre les quals hi havia un conjunt de terres i vinyes situades al castro, al lloc dit Just, i diversos camps a Fabregada, a Espoliar i a la vil·la de Sueix. Poc temps després, essent ja abat, Quint cedí al cenobi de Lavaix uns molins amb llurs aqüeductes i el molinar que es trobava subtus castello. Alguns autors han volgut veure en aquestes notícies una referència al castell de Lavaix i no al de Suert. L’any 958 l’abat Quint aportà al seu monestir el llegat del seu germà Robert, consistent en dos alous heretats de llur pare Unifred, situats, respectivament, als castells de Suert i Isdes.
A l’inici del segle XI consta l’adquisició de Suert per part del monestir de Lavaix, quan l’any 1018 els comtes Ramon III de Pallars Jussà i la seva muller Major I de Ribagorça donaren a l’església de Santa Maria, Sant Pere, Santa Creu i Sant Llorenç del monestir de Lavaix la vil·la amb tots els seus habitants i drets comtals. Tanmateix, el castell de Suert, situat dins el vilatge, fou objecte de venda i de permuta per part dels comtes pallaresos fins l’any 1094.
D’ençà del segle XII, a mesura que es desenvolupava el Pont, la importància de Suert va anar minvant. A partir del segle XIV la vila de Suert restà novament integrada al comtat de Ribagorça i consta com a lloc de senyoria eclesiàstica en el fogatjament de l’any 1385 i encara a mitjan segle XVI. El monestir de Santa Maria de Lavaix conservà el domini sobre el lloc de Suert fins a la fi de l’antic règim, quan ja havia esdevingut un despoblat.