El castell de Lés es troba situat a ponent de la vila, damunt Savièla, cim de la roca anomenada també “Castere” (1 189 m d’altitud). El camí d’accés s’ha perdut enmig de la vegetació pirinenca. Per a anarhi, malgrat tot, el que és millor és seguir els vestigis del caminet primitiu a peu des de Lés.
Aquest castell resta emplaçat a la riba dreta de la Garona, entre els seus dos afluents, el riu Telhèr i el riu de la Muleta. Com a bon castell senyorial, domina la plana de la Vall(600-700 m alt), terraplenada per les morrenes de les geleres i l’empremta fluvial. Com a castell fronterer, defensava l’entrada de tramuntana (el pas del Pònt de Rei), de gran importància estratègica per a la Vall, puix que és la més accessible de l’Aran.
Així doncs, Lés, porta del migdia francès, rebé ben aviat les influències externes i, segons que sembla, fou l’única població de la Vall d’Aran que tingué un règim jurisdiccional senyorial. En principi, hom ha relacionat el topònim amb l’existència d’un campament romà. Si més no, el castell ja és esmentat per l’estada de Jaume I i la incorporació de l’Aran a la corona catalano-aragonesa (1265). L’any 1283 apareix el llinatge de Lés, quan Auger de Lés, senyor (o castlà) de la vila, lliurà aquesta força, després d’haver-hi introduït cinccents soldats enemics en la invasió de la Vall per Felip II l’Ardit de França. Aquesta línia pro-francesa, que sens dubte reforçava el seus atributs de senyor, gairebé fou servada sempre pels barons de Lés, i en aquest sentit cal veure la revolta dels vilatans contra el baró, la qual provocà la destrucció del castell romànic. Posteriorment, Ferran el Catòlic concedí la baronia de Lés a Benet Marcó i els seus successors hagueren de lluitar contra el gascó baró de la Peira. El visitador Francisco de Gracia ja ens parla dels seus vestigis (1613), i durant la Guerra dels Segadors fou destruït novament. Finalment, el segle XVII els barons de Lès es traslladaren a una moderna residència. L’escut de Lés (segle XIX), amb un castell cobert d’or, encara ens parla de la seva importància.
Els vestigis que ens han arribat del castell de Lés conserven l’estructura primitiva: una torre forta de planta rectangular(7,80 × 8,34 m), en direcció nord-sud, amb porta elevada al primer pis i finestres, enmig del recinte definit per la muralla en forma de nau, prominent a llevant (22 m de longitud × 1,90 d’ample) i aprofitant el talús a ponent. Però les característiques dels aparells (força irregulars), del morter, dels angles fets amb pedra castellera (20-30 × 50-60 cm), etc., més les dades històriques esmentades, corroboren una cronologia moderna. Únicament l’excavació arqueològica, partint de l’estructura actual, permetrà de conèixer en el futur com era l’antic castell romànic de Lés.