El pla de Pena, a ponent del puig, recorda el nom del castell de Pena (s. XI-XIV); és possible que el nom de Sant Amanç correspongui al titular de la seva església. Segons una llegenda, en aquest indret hi hauria hagut un convent de monges molt visitat pel Comte Arnau. Només hi ha un clap de rocs, sense restes visibles del castell ni de l’església.