El poble de les Piles de Gaià és situat a la banda septentrional de la comarca, just a la banda dreta de la carretera C-241, que de Montblanc es dirigeix vers Manresa. Aquest indret s’originà a l’alta edat mitjana a partir de l’erecció d’un castell, la construcció del qual és una fita més dins el procés de colonització realitzat per la família dels Gurb-Queralt a l’extrem occidental del comtat d’Osona-Manresa. Així, la primera referència del castell de les Piles és de l’any 1057, que és esmentat com una de les afrontacions territorials en la infeudació que feren Oliver Bernat, fill de Bernat Sendred de Gurb, i la seva muller, dels castells de Biure i Montclar a Ramon Arnau. Alguns anys més tard, el 1072, el mateix Oliver Bernat i la seva esposa Agnès vengueren al comte de Barcelona Ramon Berenguer I l’alou que tenien al comtat d’Osona-Manresa, en el qual restaven inclosos els castells de Montclar, de Biure i ipsum castrum quod Pilas nominamus, pel preu de 2 000 mancusos d’or pur de moneda barcelonesa. Cinc dies més tard, fou el mateix comte de Barcelona el qui cedí en feu els esmentats castells, és a dir, el de Montclar, el de Biure i el de les Piles, a Oliver Bernat, en qualitat de castlà, el qual en canvi li reté homenatge de fidelitat.
D’altra banda, hi ha referència per l’acta testamentària de Pere de Queralt, datada el dia 3 de març de 1167, que aquest feu llegat al monestir de Santa Maria de Valldaura (després Santes Creus) d’una parellada de terra que tenia a les Piles, i l’any següent, el 1168, en el testament sacramental de Guillem de Montagut consta que deixà en herència a la seva filla Berenguera tots els drets que li eren propis dins el kastrum de Piles.
Reprenent el fil de la descendència de l’abans esmentat Oliver Bernat, hom sap que pel novembre del 1184, el seu net Arnau de Benviure prestà homenatge i fidelitat al rei Alfons I pels castells de Montclar, Biure o Benviure i les Piles; fou, de fet, una ratificació del jurament de fidelitat fet pel seu avi al comte de Barcelona Ramon Berenguer I. Només un any més tard, el 1185, en testar, Guerau de Jorba llegà l’esmentat castell a la seva filla Gueraua, casada amb Pere de Puigverd; pocs anys més tard, pel testament de Gueraua datat el 1196, hi ha notícia que, entre d’altres disposicions, llegà el castell de les Piles al seu fill Guillem de Puigverd.
Al segle XIII, en concret l’any 1234, Guillem de Puigverd, fill de la difunta Gueraua de Jorba, vengué aquest castell a Dalmau de Timor. Al segle XIV n’era senyora Francesca de Timor, la qual es maridà primer amb Berenguer de Boixadors, i després amb Gombau d’Anglesola. De fet, segons el fogatjament del 1358 les Piles era del noble Gombau d’Anglesola. El 1380 l’infant Joan vengué la jurisdicció de les Piles a Bernat de Boixadors, fill de Francesca de Timor, pel preu de 1 600 florins.
A mitjan segle XIV els béns que tenia el monestir de Santes Creus a les Piles foren reclamats pel castlà del castell de l’indret, Francesc de Timor. Aquesta controvèrsia finí amb la confirmació dels drets a favor del monestir dictada l’any 1392.
Al segle XVII el castell de les Piles era una de les propietats del comte de Savallà, descendent dels Boixadors, mentre que al segle XIX el senyorejava el comte de Peralada, que retingué el domini sobre aquest indret fins a la desamortització. (EPF)
L’edifici que és considerat com el castell del poble de les Piles de Gaià és situat a la part més alta de la població. Segurament era una construcció de planta quadrangular, a la qual modernament s’afegiren diversos edificis a l’est, a l’oest i al nord. Només al costat meridional hi ha les restes d’un portal adovellat, potser de l’època que estudiem en aquest llibre, molt malmès, del qual es veuen només vuit dovelles. En fer-se una ampliació, l’edifici fou mig desfet i inutilitzat. Alguns carreus que hi ha al seu damunt també són medievals. En conjunt, però, les restes de l’època estudiada en aquesta obra sembla que són molt escasses.