El poble de Lasquarri és situat en la confluència de diversos barrancs que s’articulen entorn del de l’Oliviadre. El seu castell, avui desaparegut, s’emplaçava a la part alta de la població. Històricament la vila de Lasquarri es trobava, a l’inici del segle XI, a la línia defensiva de la frontera amb els musulmans i depenia del castell de Llaguarres. L’any 1023, el rei Sanç III de Pamplona i de Ribagorça, essent a la cort de Nájera, donà al monestir urgellès de Sant Serni de Tavèrnoles “villam que est in Ripacorcia nucupta Alasquorre” amb tot el seu terme i amb les seves esglésies, quan hagués conquerit el castell de Llaguarres, que estava planificant en aquell moment. Pocs anys després el monarca navarrès aconseguí els seus objectius militars i conquerí Llaguarres i Lasquarri. Segons la Crònica d’Alaó renovada, el seu fill, el comte Gonçal I de Ribagorça, vers el 1039, fou mort “apud Alascorre”, probablement mentre organitzava el castell. Tal com havia estat acordat, el castell de Lasquarri fou donat a Tavèrnoles, car l’any 1040, en l’acta de consagració de l’església de l’esmentat monestir, en la qual es confirmaren totes les seves propietats, hi consta “in comitatu Raippacurcensi ipsum castrum de Alascor cum suis terminis et cum ecclesiis”. Pel setembre d’aquest mateix any, el bisbe Eribau d’Urgell anà al castell de Lasquarri per tal de reclamar al rei Ramir I d’Aragó els bisbats de Ribagorça i Gistau, cosa que el rei li atorgà.
Fou el rei Ramir I qui consolidà el domini de Lasquarri i afavorí la repoblació del terme per part de senyors i de monestirs (Sant Victorià d’Assan i Sant Andreu de Fanlo). Tal com fa palès el testament d’Arnau Mir de Tost, datat el 1072, era ell qui tenia la castellania de Llaguarres en feu pel rei d’Aragó. Disposà que Lasquarri, Llaguarres i Capella fossin llegats a la seva filla la comtessa Valença i al seu nét, el futur Arnau Ramon I de Pallars Jussà, sempre que ho aprovés el rei Sanç Ramírez.
Des de l’any 1062, almenys, tots tres feus eren en poder de Guifré Sal la, la qual cosa indica que n’era el castlà. A la seva mort, el seu hereu, Bernat Guifré, no en pogué conservar la tinença i un escatocol reial de l’octubre del 1069 consigna ja un tal Bernat Mir com a castlà del castell de Lasquarri. Tanmateix, s’hi va establir una branca lateral de la nissaga dels Aler, un membre de la qual fou Guillem Bernat; la seva filla Garsenda es casà amb Ennecó Sanç de Lasquarri. D’ençà del 1076 la senyoria de Lasquarri restà vinculada al llinatge de Guillem Isarn, jutge de Ribagorça establert a Benavarri, de manera que els seus descendents agafaren el cognom de la castlania.
Vers l’estiu de l’any 1116 consta una greu incursió dels almoràvits lleidatans per terres ribagorçanes, la qual, segons un document conservat a Roda, arribà fins a Lasquarri. Pocs anys abans, el 1112, el comte Arnau Mir I de Pallars Jussà havia heretat el comtat del seu pare Arnau Ramon I, i, lògicament, l’alt domini de Lasquarri, car almenys des del 1134 es titulà senyor de Lasquarri. Un document de l’any 1141 informa que Pere Arnau i Ramon Bertran eren seniores in Alascorre, cosa que cal interpretar en el sentit que en serien els nous castlans. Mentre el comte Arnau Mir I era presoner a Navarra, Ramon Berenguer IV, comte de Barcelona, aprofità l’avinentesa per a concedir franqueses i llibertats l’any 1158 a la vila de Lasquarri segons el fur de Jaca, tal vegada amb motiu de recuperar-ne el feu.
El rastre de Lasquarri es perd fins al darrer quart del segle XIII. En el conveni del 1273 el rei Jaume I de Catalunya-Aragó lliurà en alou a Guerau VI de Cabrera la vila de Lasquarri i altres possessions, en esmena pel vescomtat d’Àger. Consta també que el dit Guerau VI, recuperat el vescomtat, tornà Lasquarri al fill primogènit de Jaume I, l’infant Pere. La vinculació al patrimoni reial durà poc temps, car l’any 1292 el rei Jaume II integrà el castell de Lasquarri a la nova baronia de Felip de Saluzzo, el qual va transmetre el lloc de Lasquarri als barons de Castre-Peralta, que probablement el perderen amb motiu de la Unió Aragonesa.
A la darreria del segle XIV, el castell de Lasquarri adquirí protagonisme, puix que passà a ser el centre de l’anomenada senyoria dels Quatre Castells, amb Llaguarres, Jusseu i Lluçars, que concediren els comtes de Ribagorça als seus parents els Castre-Pinós. A mitjan segle XV aquesta senyoria figura en poder de Jofre de Castre-Pinós i d’Anglesola, i pervé després a la branca dels Castre-Pinós de Cervera, titulats senyors de Lasquarri i de Llaguarres. Tanmateix, a mitjà termini revertí al tronc principal, però, sempre, formant part de l’anomenada senyoria dels Quatre Castells. L’any 1705, durant la guerra de Successió, hom troba esment d’un important combat perdut per les tropes felipistes al castell de Lasquarri. A la fi de l’antic règim la senyoria pertanyia als ducs de Medinaceli.