A mig vessant del turó on és situat el castell de la Guàrdia i la seva església dedicada a sant Feliu, és localitzen les ruïnes d’una església, dedicada també a sant Feliu, en un indret on és creu que hi havia hagut la primitiva població de la Guàrdia abans de traslladar-se al seu actual emplaçament. Aquesta església hauria estat la primitiva església parroquial de la Guàrdia, més tard traslladada, juntament amb el poble. L’actual església parroquial de la Guàrdia —sota l’advocació de la Mare de Déu del Remei—fou reconstruïda completament al segle XVIII, per la qual cosa no és possible saber si té uns precedents medievals o si fou bastida expressament per a substituir la parròquia de Sant Feliu de la Guàrdia, un cop s’abandonà l’emplaçament original del poble.
En les dècimes papals del 1279 i el 1280, dins del deganat de Tremp, consta el capellà de Gardia, i en el llibre de la dècima del 1391, el capellà de Guàrdia figura amb la quantitat de dotze sous. Vers l’any 1526 n’era rector Miquel Costa, mentre que el benefici de Sant Antoni l’obtenia Pere Celdua, i el de Sant Salvador, Guillem Farrer.
Des d’un primer moment aquesta església degué estar vinculada a Santa Maria de Mur i la seva jurisdicció fou exercida pel paborde de Mur fins a la seva desaparició l’any 1851. L’any 1874, aquesta església, juntament amb les altres de l’antic pabordat, fou incorporada a la jurisdicció ordinària del bisbe d’Urgell.
L’any 1904 el titular de l’església de la Guàrdia era l’Esperit Sant, i tenia com a annexes Sant Joan Baptista de Cellers i les cases de Salvador i Notari. Actualment és cap de demarcació eclesiàstica.