El poble de Palou de Sanaüja s’emplaça al sector septentrional del terme de Torrefeta, a 547 m d’altitud. L’indret és documentat per primer cop en un inventari dels drets que el bisbe d’Urgell rebia del castell de Sanaüja, datable entre el 1042 i el 1075.
L’església parroquial de Sant Ponç de Palou podria haver estat esmentada indirectament l’any 1106, en què Ot, bisbe d’Urgell, encomanà a Pere Ramon de Sanaüja la tinença dels castells de Sanaüja, Palou i Guissona, amb tots els feus que pertanyien a aquests castells, excepte l’església parroquial (“excepta parrochiali ecclesia”). D’aquesta antiga parròquia del bisbat d’Urgell, no se n’han localitzat fins a l’actualitat més referències documentals.
L’actual església parroquial de Sant Ponç, situada uns metres fora del clos antic del poble, en el punt més elevat del lloc, és un edifici relativament modern, amb una portada de mig punt amb grans dovelles. De l’antic edifici altmedieval del segle XII només es conserva una part del seu mur nord, amb un aparell de carreuó escodat que destaca als paraments de la resta de l’església.