Es desconeix exactament on era situat aquest castell, tot i que és probable que es trobés entre la Manresana i les Oluges, dins la marca del comtat de Berga. Apareix documentat per primera vegada entre el 1072 i el 1095, en què el vescomte Guerau II Ponç de Cabrera prestà jurament de fidelitat als comtes de Cerdanya Guillem Ramon I i la seva esposa Sança pels castells de Castellnou, la Manresana, Brufaganyes i l’Oluja. En el testament de Ramon Miró del 1079 hom constata que tenia béns a Bufa grannes. En el seu testament del 1105, Ferrer, fill del vescomte Guerau II Ponç de Cabrera, deixà a la canònica de Santa Maria de la Seu d’Urgell la meitat del castell de Castellnou de les Oluges i l’altra meitat la deixàa Santa Mariade Solsona tal com ho havia fet la seva mare en el seu testament. L’altre honor que fou del seu avi Ramon Miró i de la seva mare —el castell de l’Aguda, Torà, Vicfred, Comabella, el castell de la Manresana, Brufaganyes i la meitat de Montornès— el deixà a la canònica de Santa Maria de la Seu d’Urgell.
El castell de Brufaganyes fou cedit al monestir cistercenc de Santa Maria de Montbenet en una data indeterminada, la possessió del qual és testimoniada en un capbreu de 1626-28 on consta la declaració del senyor de l’Oluja Jussana, Francesc d’Agulló, que posseïa el castell de Brufaganyes, derruït, amb el seu terme, terres i honors, pel qual feia un cens de set lliures. Declara també que l’esmentat castell li havia pervingut dels seus avantpassats. Un descendent seu, Josep Ermengol, vengué la senyoria de l’Oluja Jussana i del castell de Brufaganyes a Pau Preixens, el qual ho llegà en el seu testament redactat el 1700 al capítol de Tortosa. Tanmateix, el monestir de Poblet reclamà els seus drets, com a successor del priorat de Montbenet, i el 1702 n’aconseguí la recuperació d’una part.