Aquesta església va dependre del monestir d’Alaó. Es trobava on més tard es documenta el mas de Sant Andreu actualment colgat per l’embassament d’Escales que segons P. Madoz pertanyia al terme de Casterner de les Olles, i era, igual que l’antic hostal de Borrugats, al peu de la muntanya del poble, damunt el camí que anava de la Conca al Pont de Suert. La primera notícia sobre aquesta església, que donà nom a un mas, es troba en el suposat privilegi de Carles el Calb al monestir d Alaó, on es confirma la cel·la de Sant Andreu Vers l’any 1130 l’abat Gausbert i els monjos d Alaó donaren a Pere Baró la tinença de l’església de Sant Andreu amb totes les seves pertinences a canvi de la meitat dels fruits i la reserva del dret de posar-hi clergues. L’abat Pere Ramon d Alaó feu amb Ramon de Sant Andreu contracte de plantació d’una vinya (1171). Cap al segle XIV Sant Andreu d’Escales devia ser reemplaçada per la nova església de Casterner. Un instrument d’arrendament del 1504 ja només parla del “mas sobre Escalas nomenat lo mas de Sant Andreu ab sa cuadra e ab los emprius lo qual capmàs y quadra confrontan a sol exent ab val de Seto a ponent ab flum de Nuguera, a misdia ab roca de Escales Damont, a port ab prat de la Pastera e ab torrent de Font Freda”.