L’antic lloc de Brufaganya es trobava al peu del santuari de Sant Magí. La primera dada documental del castell d’aquest indret se situaria entre els anys 1072 i 1095 quan el vescomte de Girona, Guerau Ponç, reté homenatge de fidelitat als comtes de Cerdanya, Guillem i Sança, pel dit castell de Brufaganya.
Desconeixem els mecanismes de transmissió de la propietat dels comtes de Cerdanya a la família Cervelló, però es té notícia que el lloc i castell de Brufaganya, segons un document del 1168, eren en mans d’aquesta nissaga; segons l’esmentada escriptura, en testar Guillem de Cervelló, va deixar al seu fill primogènit, del mateix nom, les prerrogatives que tenia en diversos llocs, entre els quals hi havia els de Brufaganya i Rocamora. De la mateixa manera que aquest darrer indret, cal suposar que el de Brufaganya, junt amb el seu castell, es trobava inicialment dins el terme del castell de Santa Perpètua, i més tard adquirí entitat pròpia com a terme de castell, primer sota el domini de la família Santa Perpètua i, posteriorment va passar a la nissaga dels Cervelló com a feudatària comtal.
A l’inici del segle XIII, concretament el 1204, Guerau de Montagut i la seva esposa Ponceta donaren als hospitalers de Sant Valentí de les Cabanyes la domum de Brufagainas. Anys més tard, el 1228, els germans Berenguer i Guillem de Montagut confirmaren als hospitalers tots els seus drets en les finques que l’orde tenia a Brufaganya, i que Guerau de Montagut, oncle dels cedents, havia donat a aquest mateix orde el 1204. Vers el 1232 seran els germans Bernat i Arnau de Queralt els qui definiran a favor dels hospitalers de Sant Valentí de les Cabanyes diversos drets que ells tenien en diferents llocs, i ultra això, els drets que posseïen in castro de Bufagranyes i en els seus termes. Cal dir que Arnau de Queralt, conjuntament amb la seva muller Sibil·la i llur fill Ramon, ratificaren en favor de la casa de Sant Valentí, l’any 1250, la venda de l’heretat de Brufaganya a l’orde de l’Hospital, feta per Guerau de Montagut.
Una darrera notícia apareix en el testament de Guillem de Cervelló, datat el 1274, el qual llegà a l’hospital d’Olesa de Bonesvalls tots els drets que tenia en els llocs de Rocamora, Valldeperes i Brufaganya.