El castell de Madrona, malgrat ésser molt documentat, presenta una gran dificultat de localització. Seguint les traces de Martí de Riquer, que ha estudiat molt bé la zona i la documentació referent al tema pel seu treball sobre el trobador Guillem de Berguedà, el castell de Madrona: “cal localitzar-lo, sens dubte, a l’imponent tossal escarpat dit Castellberguedà que s’aixeca davant Berga, prop del Santuari de Queralt”. Les restes d’aquest castell serien, doncs, l’església de Sant Pere de Madrona i alguns elements de l’avui Santuari de Santa Maria de Queralt. Les referències més antigues sobre el castell de Madrona daten del segle X. El 22 de febrer de l’any 980, el comte Oliba i la seva muller Ermengarda donaren a Sant Llorenç prop Bagà i al seu abat Sunifred, l’alou que tenien a Vilosiu, on hi havien quatre masos construïts i una església dedicada a Santa Maria. Aquest alou es trobava al Berguedà, dins el terme del castell de Madrona. Una altra referència antiga sobre aquest castell apareix en un document de la catedral de Solsona, datat al principi del segle XI. En el document hom pot llegir que el comte Guifré, el vescomte Bardina i la seva muller Adelaida donen al monestir de Santa Maria de Serrateix l’alou situat al comtat Berguedà, sobre el castell dit Madrona, al lloc anomenat “Terracca”, amb les esglésies de Sant Joan i Sant Mamet. Sabem que al final del segle XI, el castell de Madrona era una possessió dels comtes de Cerdanya. En un document de l’any 1095 veiem que Guillem Ramon de Cerdanya s’intitula senyor del castell de Madrona; seguint en aquesta línia, entre el 1095 i el 1109, Dalmau Bernat, fill de Letgarda, promet fidelitat al seu senyor, el comte Guillem Ramon de Cerdanya, fill de Sança, pels castells de Madrona, Casserres i Montfalcó. Aquest Dalmau Bernat ha d’identificar-se com el vescomte de Berguedà. Pocs anys més tard, tornem a trobar Dalmau Bernat fent homenatge per aquests castells al comte Bernat de Cerdanya, hereu de Guillem Ramon, i el 1131 repetí el seu jurament davant Ramon Berenguer III, comte de Barcelona, quan aquest adquirí el comtat cerdà. Dins la mateixa línia vescomtal, el 5 de gener de 1135, Guillem de Berguedà, pare del famós trobador, prestà jurament al comte de Barcelona Ramon Berenguer IV pels mateixos castells. El 1173 el mot Madrona és esmentat com a límit en la donació que feren Guillem de Berguedà, la seva muller Berenguera i els seus fills. Guillem (el trobador), Ramon, Berenguer i Ferrer, dels ports de Tagast i Campllong a favor del monestir de Santa Maria de Poblet. Un any més tard, el 30 de setembre de 1174, Ramon d’Avià, la seva muller Saurina i el fill d’ambdós Ramon, venen al mateix monestir uns pasturatges que tenien com afrontacions als castells de Peguera, Blancafort, Madrona i “in patria Valdelurdiense”. Signa aquest document de venda un tal “R. de Madrona”, que molt possiblement detentava el càrrec de castlà del castell del mateix nom. És de destacar la importància de les terres de pasturatge que arribà a posseir, sigui per donació o per compra, el monestir de Santa Maria de Poblet al Berguedà. Aquest aspecte ha estat estudiat per Manuel Riu en la seva obra sobre el monestir de Santa Maria de Montbenet. El 1180 tornem a trobar el topònim Madrona com una afrontació en un document de venda d’un alou que fa Ramon de Valmanya i la seva muller Berenguera a Pere de Berga i al seu fill i homònim, Pere. Aquest alou tenia com afrontacions, el riu Llobregat, el castell de Madrona i la riera Demetge. En el testament atorgat pel vescomte Guillem de Berguedà l’any 1183 són esmentats nombrosos castells i possessions entre els quals destaquem el castell de Madrona. L’hereu del vescomte és el seu fill Guillem de Berguedà, conegut com el trobador. Quan aquest feu testament pocs anys més tard, l’any 1187, reconegué tenir el castell de Madrona en feu del rei d’Aragó i el llegà al seu germà Berenguer. La pertinença del castell de Madrona a la família dels Berguedà porta a la formulació d’una hipòtesi sobre el fet que el nom inicial i primitiu del castell (Madrona) fos substituït pel nom de la família que el detentava (Berguedà); el castell era conegut com Castellberguedà, nom que encara trobem a la toponímia identificant la serralada de Queralt. Des del final del segle XII les notícies que tenim sobre el castell de Madrona són molt escasses; se n’han perdut gairebé les traces històriques. L’any 1328 el castell de Madrona “Castrum de Madrona in Berguitano” apareix en una relació de possessions del rei, però sense cap comentari. A partir d’aquest moment només trobem el topònim Madrona, relacionat en els fogatjaments i com a parròquia; s’ha perdut qualsevol traça del castell.