A Castellfollit de la Roca hi havia hagut un castell, situat segurament en un dels extrems de la població. Segons Pascual Madoz, fou destruït totalment L’any 1691, durant una invasió dels francesos. Segons Jordi Bolòs i Víctor Hurtado, possiblement el lloc de Castellfollit ja es trobava documentat L’any 957 en el topònim “Riva fracta”. Tenim referències d’aquest castell anomenat “Kastro Fullit” L’any 1096, en què surt com a límit d’un alou situat a Aiguanegra, en la donació de Guillem Bernat i Gisberga al monestir de Sant Joan les Fonts. L’any 1110 torna a aparèixer quan els vescomtes de Bas o de Besalú, Hug i Beatriu, feren donació a la canònica de Vic de la meitat dels alous que tenien des del Llobregat fins a Castellfollit de la Roca (“ipsam rupem de Castro Follit in Bisuldunense”), com diu F. Monsalvatje. Aquest castell restà incorporat al casal de Bas, ja que hi ha l’escriptura de l’any 1193, per la qual els vescomtes de Bas, Ponç III de Cabrera i Marquesa, en cediren a perpetuïtat la batllia a Ramon de Colltort. Així mateix donaren el delme de tots els molins que hi havia, tal com transcriu F. Monsalvatje: “villicatum et baiuliam castri de Castellofollito et ipsa villa… et donamus tibi quod ipso castro possis valere et deffendere… et damus modo tibi et tuis en tots los molins de Castellfollito lo delme in perpetuum”. L’any 1278 la vescomtessa Sibil·la reconegué al rei que tenia el “Castrum Follitum” en feu. L’any 1280 Sibil·la, vescomtessa de Bas i d’Empúries, vengué el vescomtat de Bas, en el qual hi havia inclosos Castellfollit, Montagut, Beuda i d’altres castells, al sobirà Pere II el Gran. Però cinc anys més tard van passar al comte Ponç Hug IV d’Empúries, com a pagament pels serveis prestats. L’any 1315, després d’uns anys de grans enfrontaments, Jaume II decidí tornar a donar al nou comte emporità Malgaulí el vescomtat de Bas, el qual havia estat comfiscat al seu oncle Huguet. La concessió afectava Castellfollit i Montagut, dels quals el sobirà es quedava el domini eminent. Poc temps més tard, el comte Malgaulí decidí la venda de la tinença dels castells de Mont-ros, Montagut i Castellfollit per a poder pagar els deutes. Però L’any 1321 Jaume II li donà l’exempció del pagament. El 1339 Pere III el Cerimoniós va incorporar a la corona els castells de Castellfollit, Montagut i Mont-ros, juntament amb els termes i jurisdiccions. L’any 1351 passaven a formar part del ducat de Girona, el qual havia d’ésser per al seu fill, el futur Joan I. Al llarg del segle XV s’esdevingueren diverses penúries a Castellfollit. Es van produir diversos terratrèmols que ocasionaren molts morts i destruccions i, a més, fou un lloc fortament afectat pel moviment remença. En la documentació de l’any 1463, sobre els moviments de remences surt esmentada com a senyora del castell Beatriu de Cruïlles i de Santa Pau, vídua de Bernat Gueran i Cruïlles. Aquesta família encara en tenia la senyoria L’any 1632.