L’any 920 el monestir d’Alaó adquirí per donació de Ceno una vinya al lloc dit Velonce, a la vall d’Esplugafreda. Així mateix, consta al Cronicó I de Ribagorça que el bisbe Eimeric dedicà l’església de Spelunca Frigida. Sens dubte aquesta consagració data d’abans de l’any 1000, ja que vers el 997 el prevere Cèntul donà en testament al cenobi d’Alaó la porció d’una casa amb dos cups que tenia per compra al vilar d’Esplugafreda, prop l’església de Sant Vicenç —primitiva advocació de l’església—, i que confrontava a sol ixent amb la penya, pel ponent amb la casa d’Apó i per dalt amb la dita església. Vers el segle XI seria novament consagrada i prendria l’advocació actual. El cartoral d’Alaó conserva notícia de la convinença feta entre l’abat Bernat i un tal Martí Galin; aquest es lliurava a Sant Esteve d’Esplugafreda amb la meitat del seu haver moble per tal de serne el clergue, i a canvi l’abat li exigia l’observança de la castedat (si no ho perdria) i, quan morís, que vingués el seu cos a Alaó amb l’altra meitat. El conveni, tenint en compte els personatges, se situa entre el 1105 i el 1112, i fou assegurat per Vidià i el seu fill Rotlan, que no eren altres que els senyors d’Espills i, per tant, d’Esplugafreda. El domini d’Alaó sobre Esplugafreda sembla que és breu, potser fins al traspàs de diòcesi (1140).
A la baixa edat mitjana la senyoria passà a la baronia d’Erill, després comtat a l’època moderna. A la fi de l’Antic Règim pertanyia als Pérez d’Àger, al corregiment de Talarn. Respecte a l’església de Sant Esteve, ja assenyala Madoz que era annexa a la parròquia d’Orrit i que no s’hi veia cap vestigi romànic.