És possible identificar aquesta església amb l’actual temple de la Mare de Déu del Remei, situat al marge esquerre de la Noguera de Tor; es tracta d’una ermita vella i mig arruïnada, emplaçada davant Castelló de Tor mateix, vora l’antic pont i molí del Remei. En l’actualitat aquesta antiga ermita ha estat substituïda per un santuari modern.
L’església de Santa Maria de Castelló adquirí notorietat a partir del 977, quan el comte Unifred I de Ribagorça, amb la seva esposa Sança, donà una heretat que tenia del seu pare, el comte Ramon II, al castell de Castelló. Al final d’aquesta mateixa centúria consta ja fundat el priorat de Santa Maria de Castelló de Tor, vinculat a Santa Maria d’Alaó, segons la donació testamentària del 997 que li féu el prevere Guiter, consistent en la meitat de tot el que posseïa al castell de Castelló.
Les intenses pertorbacions relacionades amb el mil·lenni i la subsegüent crisi monàstica degueren afectar força els dominis més allunyats del monestir de Santa Maria d’Alaó, de manera que el priorat de Santa Maria de Castelló de Tor sembla que no reeixí.