La caseria de Cancer (462 m d’altitud) és a migdia de Graus, dominant l’antiga ribera de l’Éssera, per l’esquerra. S’hi arriba per l’antic camí de Graus a Aguilaniu. Probablement el nom de Cancerh conserva en la seva arrel el fet d’haver estat un antic castell. L’any 1085, en l’organització del castell de Graus, l’abat Ponç de Sant Victorià d’Assan concedí a Vidal Garcés de Cavallera, pregat pel rei Sanç Ramírez, “illo Castello qui est exiente de Valle Magna” en heretat i en propi alou, a més d’unes hisendes al castell de Graus, i establí com a termenals d’aquest nou castell: des de l’Espluga fins al pont del riu i des del castell en amunt fins al puig de la Guàrdia. Es pot inferir que “illo castello” és el castell de Cancer, atès que aquest es trobava a la sortida d’una ampla vall. Sigui com vulgui, segons el primer testament del comte Arnau Mir de Pallars, el kastrum de Kancer restà en poder de Pere Ramon II d’Erill, i aquest ordenà en el seu testament, datat el 1153, que fos restituït al senyor Garcia (de Güel ?), cosa que segons sembla no era ben vista pels hereus de la baronia.
Posteriorment, el lloc de Cancer formà part del comtat de Ribagorça, com a senyoria laica. A l’època moderna aquest indret pertanyia als Bardaixí de Graus.