El poble de Palou de Sanaüja, a 547 m d’altitud, és situat al sector septentrional del terme. El lloc fou conquerit pels comtes d’Urgell i s’originà al voltant d’un castell del qual és successora una casa senyorial que es troba al centre del nucli antic i que no ha conservat restes de l’antiga fortalesa. El terme de Palou és documentat per primer cop en un inventari dels drets que tenia el bisbe d’Urgell a Sanaüja, que hom pot datar entre el 1042 i el 1075, i, posteriorment, l’any 1082, quan entre les afrontacions del castell de Valltallada s’esmenta, al sector de tramuntana, el terme de Florejacs i el de Paladol. D’altra banda, en l’acta de consagració de Santa Maria de Guissona de l’any 1098, apareix Bernat Ènnec de Palou que llegà a l’esmentada canònica una peça de terra prop del terme de Guarda-si-venes.
L’existència d’un castell a Palou de Sanaüja es coneix en primer lloc gràcies a un capbreu d’aquesta fortalesa del segle XII; aquest interessant document informa dels diferents masos del terme dels quals l’església d’Urgell rebia censos; també tenia drets, en aquest moment, al castell de Palou, segons l’esmentat capbreu, Elisenda de Callús. Altres documents d’aquesta mateixa centúria constaten l’existència del castell de Palou.
Per començar, en la convinença feta entre Pere Ramon de Sanaüja i el seu feudatari Pere Ponç sobre la tinença dels castells de Sanaüja, Palou i Guissona el 31 d’agost de l’any 1106; al dia següent es féu una nova convinença entre el bisbe Ot d’Urgell, senyor eminent i últim dels castells de Sanaüja, Palou i Guissona, i Pere Ramon de Sanaüja sobre la tinença dels esmentats castells. En testar Pere Ponç l’any 1116, deixà els seus drets al castell de Palou i al de les Sitges al seu fill Arnau. Les notícies sobre el castell de Palou sovintegen en aquests anys. El 1118 se signà una nova convinença entre el bisbe Ot i Pere Ramon de Sanaüja sobre la infeudació dels castells de Sanaüja, Guissona i Palou. D’altra banda, consta que l’any 1122 Pere Ramon de Callús cedí a Guillem Ramon de Vilalta una sala que tenia al castell de Palou.
A l’Inici del segle XIV era senyor de Palou de Sanaüja Guerau Alemany de Cervelló, que en testar l’any 1304 va reconèixer com a esponsallci de la seva muller Blanca els castells de Florejacs i de les Sitges, el feu de Sanaüja i el castell de Palou.
En produir-se la desamortització dels senyorius jurisdiccionals, al segle XIX, la senyoria de Palou de Sanaüja era de la canònica d’Urgell.