La capella de Sant Ponç és situada a mig camí entre Perles i Alinyà, a l’antic terme de Fígols d’Organyà. Segons P. Madoz aquesta església era construïda en el lloc d’un antic castell, del mateix nom. No s’ha trobat cap més notícia ni referència que permeti establir l’origen d’aquesta capella, si era una capella de castell, i per tant d’origen antic, o si fou una capella edificada posteriorment, aprofitant les restes d’edificacions preexistents.
Tan sols en la visita pastoral del 1758, la capella de Sant Ponç consta com a annexa de Sant Esteve d’Alinyà, on s’hi pujava dues vegades a l’any en processó.