La vila de Gessum és citada l’any 1064 en la donació a la canònica de Santa Maria de la Seu d’una sèrie d’alous, entre els quals hi consta un alou “in apendicio Sancti lusti Sanctique luliani in villis que vocant Gessum et Perellam…”. La primera referència relativa al castell del Ges no es troba fins ben entrat el segle XIII. Era propietat del capítol d’Urgell, i controlava un dels principals accessos a la vall de Lavansa.
El lloc de Ges pertanyia a la canònica de la Seu d’Urgell, i com a tal apareix esmentada en el Spill… del vescomtat de Castellbò, redactat a l’inici del segle XVI. (MLIC)
Del castell, només hi ha una cantonada original, que forma part d’un edifici refet, al costat mateix de l’església, damunt de Can Vidal. Els carreus són més grans i més ben treballats, regulars, de dimensions mitjanes de 40 m de llarg × 20 m d’alt, units amb morter de calç.
L’entrada al poble, a la part baixa, és fermada per un arc lleugerament apuntat que dóna pas a un corredor on hi ha l’entrada a un edifici; és una porta amb un arc de mig punt, d’aparell molt semblant al de la cantonada conservada del castell. (AVB)