Es tracta d’una antiga capella, avui desapareguda, que era emplaçada al tossal de la Concepció. Les notícies instrumentals són insegures. Si les dades actuals són correctes, aquest lloc correspon al puig Almenarella que el rei d’Aragó Alfons el Bataller fortificà en el setge de Fraga (1134). Opina J. Pleyán i de Porta (1889) que Santa Margarida del Castell fou el primer temple aixecat pels cristians després de la conquesta de Fraga. L’historiador J. Salarrullana (1931) considera més lògica la dedicació de la mesquita major a sant Pere tan bon punt el comte Ramon Berenguer IV de Barcelona entrà a la ciutat del Cinca, si bé no descarta la suposada antiguitat de la primera església. Aquest mateix investigador local consigna que “recientes excavaciones practicadas en dicho cerro la Concepció pusieron al descubierto reliquias y restos de objetos pertenecientes al culto religioso, entre otros, fragmentos de candelero, etc.”. En un dibuix parcial de la ciutat de Fraga del segle XVII s’observa en aquell indret un petit torricó, cosa que fa suposar que la capella, amb la seva venerada imatge de santa Margarida, hauria estat traslladada a la mesquita musulmana de la vila, de rica decoració mudèjar, poc després de l’expulsió dels moriscs (1610), mentre que hom hauria bastit a l’antic emplaçament de la capella un baluard aprofitant la vella obra romànica.