El lloc i l’església de Sant Pere de Gavet consten entre els béns suposadament donats a l’abat Ató de Gerri pel comte Isarn i la seva muller, l’any 930, i ratificats en el testament del comte del 953. Els documents que contenen aquestes informacions són els falsos VI i VIII de Gerri, redactats en realitat al final del segle XI.
El primer esment segur del topònim de Gaveth, situat al terme de Llimiana, és de l’any 1012, en una donació de terres a Llimiana feta pels comtes de Pallars Jussà al monestir de Gerri.
La comtessa Valença, muller de Ramon V, en data desconeguda féu donació al monestir de Gerri de la vila de Gavet, amb les seves pertinences i la seva batllia. La mateixa comtessa posà la vila sota guàrdia i batllia dels seus hereus, el seu nét, el comte Arnau Mir I i el fill d’aquest, Ramon VI, segons que consta en un document datat el 1170 i que inclou la donació anterior.
L’any 1197 el comte Bernat II recuperà la vila i l’alou de Gavet en permutar-lo amb la sagristia de Gerri a canvi de diversos béns situats a Montros i al pla de Sant Pere de Pallars.
Al segle XVI, juntament amb el lloc de Fontsagrada, era del comte d’Erill, com a senyor d’Orcau.
L’església de Sant Pere de Gavet, esmentada també en el document datat vers 1012, sembla que en aquesta data passà al monestir de Santa Maria i Sant Vicenç de Gerri per donació del comte de Pallars Jussà, Ramon Sunyer. El text diu “alia condamina est in terminio de Ligmignana in rivo quam vocant Gaveth in loco ubi dicunt ad Sanctum Petrum cum idem aecclesiam”.
Entre els anys 1081 i 1086, el comte Artau I i l’abat Arnau Ricolf de Gerri fundaren la sagristia del monestir i la dotaren, entre altres, amb l’església de Sant Pere de Gavet. La possessió d’aquesta església per part del monestir de Gerri fou confirmada pel papa Alexandre III en la butlla del 1164.
Si bé la vila retornà a jurisdicció dels comtes de Pallars el 1197, sembla que l’església restà dins l’òrbita del monestir de Gerri, fet que explicaria la seva exclusió —car és tractaria d’una parròquia exempta— de les relacions de les parròquies del deganat i oficialat de Tremp fins el 1758.
En aquest any el visitador indicà que l’edifici estava en bon estat, amb un sol altar i sense sagristia. L’any 1904 tenia com a annexa l’església de les cases de Terrassa. Actualment depèn de l’església parroquial de Talarn.