El poble de Lles és situat en un replà orientat a migjorn, al pendent de la muntanya, sobre la vall de la Llosa. Del que fou el castell d’aquest indret, no en queda pràcticament res exceptuant el que podria ser la base de tres de les seves torres, i que sembla que formen avui dia els fonaments de les cases de cal Fuster, cal Perantoni i la rectoria, enmig del nucli poblacional.
Ben poca cosa sabem de la història d’aquesta fortificació; suposem que fou un castell comtal, per bé que així ho deixa entreveure la concòrdia de l’any 1303 establerta entre Gastó I, comte de Foix, i Jaume II, rei de Mallorca, i per la qual el monarca es reservava el domini directe del castell de Lles, a més d’altres drets i justícies. Tot i així, el rei el va donar en feu, juntament amb altres castells, al donzell Ramon Puig, dos anys després de l’esmentada concòrdia.
Aquest castell tingué sempre una relació molt estreta amb altres fortificacions de la vall i molt especialment amb el castell de Travesseres, situat més al sud, amb el qual controlava totalment la sortida de la llarga vall de la Llosa, i, per extensió, les vies d’accés a Meranges pel coll d’en Pan, i més enllà amb el Pimorent i l’alta vall de l’Arieja. Terres aquestes especialment cobejades pels vescomtes de Castellbò i més tard comtes de Foix, ja que unien territoris dels seus dominis. No ha d’estranyar, doncs, que, l’any 1313, aquests dos castells de Travesseres i Lles figurin esmentats en el jurament de vassallatge que Gastó I, comte de Foix, feia al rei de Mallorca Sanç I per les terres del Donasà.