Del castell del poble de Fonolleres, al nord-oest de Granyanella, hom té coneixement des del segle XII. Segons Ceferí Rocafort, el terme ja apareix documentat des del 1118. Dos anys més tard el terme de Fonolleres apareix com a afrontació de migdia del terme del castell del Canós. D’aquesta fortalesa sorgí una família de petits nobles o castlans cognomenada Fonolleres. Així, ja el 1147, Pere Bernat de Fonolleres signà una concòrdia amb Pere Hug de Sedó sobre la possessió d’unes corts davant dels testimonis Berenguer Dalmau de Cervera, Ramon de Montlleó i Mir Guillem de Curullada. El 1185 consta Arnau de Fonolleres entre els testimonis d’una donació de Guillem de Guàrdia a Poblet. Al terme, hi tenien drets altres personatges, com Bernat de Granyena, canonge de Solsona, que en rebia els delmes el 1207, o Bernat de Fonolleres, que cedí el 1219 a la canònica solsonina tots els drets que tenia “in castro et in villa de Fenollers”.
Des del final del segle XIII fins al començament del segle XIV els senyors feudataris del castell de Fonolleres foren els Satorre, que s’hi van mantenir almenys fins el 1427. A la segona meitat del segle XV pertanyia als Ivorra i al segle XVII en foren senyors Joan Pocurull i els seus descendents. En arribar el segle XIX era dels Duran i Cerdà.
L’actual castell, al capdamunt del poble, és un gran casalot que no presenta traces romàniques.