El lloc de Llavorsí és documentat des de l’any 1149, tot i que la força no ho és fins al segle XIII. Segurament Llavorsí havia format part en el seu origen del terme del castell de Gilareny, molt properal poble. Llavorsí fou un terme de jurisdicció comtal.
La primera referència de la força de Llavorsí és produeix en el context de les guerres del Pallars al final del segle XIII. L’any 1298 Roger Bernat III, comte de Foix i vescomte de Castellbò, és negà a lliurar els llocs i els castells de Tírvia, Glorieta, Biuse i Arestui, empenyorats per la comtessa vídua Blanca de Bellera, quan aquesta li retornà els 53 000 sous melgoresos. El rei donà suport a la reclamació de Blanca, i el comte de Foix és posà del costat d’Arnau d’Espanha en la guerra del Pallars. Consta que en aquest moment els gascons envaïren el Pallars i prengueren les forces de Berrós, Llavorsí, Escaló, Llort i Gilareny.
L’any 1371 Pere el Cerimoniós ordenà al veguer de Lleida que signés la venda feta pel comte Hug Roger II de Pallars a Bord de Pallars dels llocs de Llavorsí, Escaló i la vila de Mont-ros infeudats pel rei. Hug Roger II havia deixat les valls de Cardós, Espot i Berròs amb Llavorsí i Escaló a la seva muller Blanca de Foix.
A les acaballes del segle XV Llavorsí, juntament amb la resta de dominis dels comtes de Pallars, passà als Cardona i per enllaç matrimonial, a la fi del segle XVII, als Medinaceli.