L’antic lloc de Brufaganya es trobava al peu del santuari de Sant Magí. La primera dada documental del castell d’aquest indret se situaria entre els anys 1072 i 1095 quan el vescomte de Girona, Guerau Ponç, reté homenatge de fidelitat als comtes de Cerdanya, Guillem i Sança, pel dit castell de Brufaganya.

Desconeixem els mecanismes de transmissió de la propietat dels comtes de Cerdanya a la família Cervelló, però es té notícia que el lloc i castell de Brufaganya, segons un document del 1168, eren en mans d’aquesta nissaga; segons l’esmentada escriptura, en testar Guillem de Cervelló, va...