Les primeres notícies del castell de la Guàrdia Pilosa—considerat etimològicament com “guàrdia de lloc desert o poc poblat”— són de l’any 1022, en la donació que feren la vescomtessa Engúncia i el seu fill Bremon al monestir de Sant Vicenç de Cardona d’unes terres situades al comtat de Manresa, les quals afrontaven amb una torre anomenada la Guàrdia. Malgrat això, la primera referència de la fortalesa de la Guàrdia Pilosa és posterior. El 1039 la vescomtessa Engúncia i els seus fills Eriball i Folc cedeixen una altra vegada al bisbe de Vic el castell de Calaf, el qual limitava al sud amb l’esmentada torre de Guàrdia Pilosa.
Desconeixem, ara com ara, les vicissituds històriques d’aquest castell al llarg del segle XII, ja que la referència següent correspon al segle XIII. El 1237 surt esmentat en el document de dotació que fan els esposos Ramon Gàver i Saurina al monestir de Sant Benet de Bages d’unes propietats que ells tenien en el terme del castell de la Guàrdia Pilosa. La família Gàver eren els castlans d’aquesta fortalesa com a feudataris dels Cervera, els quals mitjançant una permuta el cediren, el 1251, al rei Jaume I.
Al començament del segle XIV el lloc de la Guàrdia Pilosa encara era un lloc reial, i la castlania es trobava en mans de la nissaga dels Gàver. El 1379, però, el rei Pere III el vengué a carta de gràcia a Joan de Montbui. Pocs anys després, el 1392, el rei Joan I el traspassava a Mateu Calders i als seus successors. En l’actualitat aquest castell es pot considerar com a desaparegut.