El lloc de Llavorsí és esmentat l’any 1149, en la consagració de l’església del monestir de Gerri, en què el monestir rep de Mir Garreta un mas a Loberciu. Aquesta propietat apareix confirmada en la butlla del papa Alexandre III de l’any 1164, però posteriorment degué perdre-la, ja que l’any 1220 Guillem de Bellera restituí al monestir de Gerri un mas a Llavorsí, que ja havia estat donat pel seu avi. El lloc de Llavorsí formava part dels dominis dels comtes de Pallars, i al segle XV passà als ducs de Cardona, marquesos de Pallars.
Pels volts del 1526 regia la rectoria de Labarçi, de l’oficialat de Cardós, Joan Bompilia. En la visita pastoral del 1575 a la parròquia de Santa Anna de Llavorsí s’ordenà fer el cobert del campanar i de l’abadia del rector. En la visita del 1758 es feu constar que l’església havia estat totalment construïda de nou, circumstància que permet suposar que les mencions anteriors a aquesta data es refereixen a un edifici medieval, substituït al segle XVIII per l’edifici actual.