La història d’aquesta capella i fins i tot l’advocació del seu titular es fonamenten més en la tradició popular que en el suport documental. Sobre el pla de Pena hi ha un munt de pedres que la llegenda diu que corresponen a les ruïnes d’un antic convent, lligat a la llegenda de disbauxes eròtiques del comte Arnau. No cal dir que això és, del tot imaginari. El topònim Sant Amanç no surt documentat fins a l’any 1682. Tenint en compte el costum de l’època d’edificar esglésies al costat dels antics castells, sembla lògic que aquest edifici pogués correspondre a la primitiva capella del castell de Pena, i que, per haver tingut més vida que el castell, fes que el lloc on es trobava situada sigui conegut encara per puig de Sant Amanç. El castell de Pena és esmentat per primera vegada l’any 1024, quan el bisbe i abat Oliba consagrà la segona església de Sant Martí d’Ogassa. Joan Oriol, que havia fet restaurar l’església d’Ogassa, era casat amb Adelaida, filla del comte Oliba Cabreta. El seu nét, Bernat Joan, clergue, feia donació, l’any 1092, al monestir de Sant Joan de les Abadesses, del castell de Pena amb la seva capella, juntament amb tota la parròquia d’Ogassa. A partir de l’any 1 264, els abats de Sant Joan pogueren disposar lliurement del castell i de la seva jurisdicció; que administraven per mitjà de batlles, després que l’abat Dalmau adquirí del rei el mer i mixt imperi del castell de Pena i de Llaés, compra que quedà arrodonida amb la que l’abat va fer a Ramon de Puigpardines de la castlania o dret de guarda i conservació del castell.