Aquesta església, sufragània de la de Sendes, fou en un principi un monestir que ja no tenia comunitat l’any 914. D’aquest mateix any s’ha conservat un document, al cartulari de Tavèrnoles, relatiu a uns"cenobis” sotmesos al monestir de Sant Sadurní de Tavèrnoles pels bisbes Nantigís d’Urgell i Adolf i pel comte Sunifred, els quals s’han identificat com a pertanyents a la vall de Castellbò, on consta el de Sant Martí vinculat a la vila d’Abezed, parròquia vinculada a Sant Vicenç de les Torres o dels Torrents. En l’acta de consagració de Sant Serni de Tavèrnoles de l’any 1040, entre les parròquies amb què fou dotat el monestir, consta la d’Albes[es]. En una venda, datada entre el 1060 i el 1108, d’uns alous situats a la vall de Castellbò, s’esmenta, entre les afrontacions, el riu d’Albeded. En la visita pastoral del 1575 l’església d’Albet consta com a sufragània de Sant Vicenç dels Torrents, mentre que en la visita del 1758 —on es fa constar el mal estat de l’escala del campanar— era sufragània de Sant Vicenç de Sendes i, després de la reforma parroquial del 1904 ho era de Santa Creu de Castellbò. Actualment és annexa de la parròquia de Castellbò.