L’any 1085 la senyora Ava de Sapeira i els seus fills Guiu, Gerberga Adelaida i Bernat Mir lliuraren en batllia al bisbe Bernat i a Santa Maria d’Urgell l’església de Sant Feliu amb els seus alous i delmes, al comtat de Pallars i termes de Castellet, l’Espluga, castell de Sapeira i Aulàs. L’any 1126 el cavaller Bernat Ramon de Maçanet confirmà a favor de l’església de la Seu i dels canonges la donació feta pel seu avi al castell de Castellet.
Després, la memòria sobre aquesta església es perd en el temps. Potser es tracta de l’anomenada quadra del Mag, a Castellet, on segons la tradició van viure monjos. Avui l’edificació ha estat habilitada com a corral, però encara s’hi pot veure un mur adossat al terraplè, orientat, i fet de pedra tallada amb caires vius. Segons la gent del lloc, es trobaren sepulcres de llosa en llaurar els camps propers, la qual cosa assenyala que Sant Feliu de Castellet degué ser una església parroquial.