La vila de Graus és situada a la vall de l’Éssera, en la confluència de les aigües d’aquest riu amb les de l’Isàvena. Tradicionalment ha estat el centre sòcio-econòmic de la Ribagorça occidental. Històricament, la seva posició excepcional sobre l’Éssera convertí el nucli en un important punt estratègic de la línia fronterera entre les zones cristiana i musulmana. L’indret, poblat pels musulmans, ja disposava d’un castell, situat a la penya del Morral, del qual parla la crònica d’al-Rāzī. L’any 1063 fou objecte d’un intent de conquesta per part del rei Ramir I d’Aragó, el qual, després d’assetjar la fortalesa, no aconseguí de rendir-la i hi trobà la mort. El lloc fou definitivament conquerit l’any 1083 pel fill de Ramir I, el rei Sanç Ramírez, el qual l’any següent donà al monestir de Sant Victorià d’Assan el castell i la vila de Graus. A partir d’aquest moment, l’esmentat cenobi emprengué la tasca d’organitzar el poblament i d’afermar el seu domini a l’indret; així, per un document de l’any 1085 hom sap que Vidal Garcés de Cavallera era el castlà de la fortalesa de Graus nomenat per l’abat del monestir sobrarbès de Sant Victorià.
Foren nombrosos, al llarg del temps, els enfrontaments que protagonitzaren els castlans de Graus, provinents de Serradui, amb els abats de Sant Victorià d’Assan. Tot i així, aquest monestir gaudí de l’empara reial; així, el rei Alfons I de Catalunya-Aragó, tot demostrant la seva predilecció per aquesta abadia, confirmà l’any 1174 la jurisdicció alodial de Graus. L’any 1183 l’abat de Sant Victorià concedí als pobladors de Graus un fur mitjançant el qual els atorgà la llibertat per a la compra-venda de terres dins els límits del territori de Graus, i fixà, a més, les normes per a l’administració de justícia. Posteriorment, el rei Pere el Catòlic atorgà, l’any 1201, un privilegi pel qual disposava el trasllat a Graus de la fira anual que se celebrava a Sant Pere de Taverna.
A la darreria de l’edat mitjana els comtes de Ribagorça disputaren contínuament amb els abats de Sant Victorià d’Assan la jurisdicció sobre el lloc de Graus; aquests plets constants finiren l’any 1480 amb un arbitratge que fallà en favor dels comtes. A partir d’aquell moment l’esmentat monestir perdé definitivament el domini senyorial sobre l’indret.