La senyoria fou comprada el 1281 per Ramon de Peguera (mort el 1290) a Mateu de Balsareny (dit de Vilallonga) i estigué a les mans de la casa de Peguera fins a la fi del s XV, que, per enllaços matrimonials, passà als Oliver. El darrer d’aquesta família, Miquel d’Oliver i de Sarriera, fou succeït (1622) per la seva muller Elisabet de Corbera, la qual llegà la senyoria (1633) a Lluís de Corbera i de Castellet. Els Corbera la vengueren el 1648 al ciutadà honrat de Barcelona Joan Antoni Martín. Concepció de Martín i de Magarola (morta el 1862), pubilla de la seva casa, es casà amb Lluís Carles d’Alòs, marquès d’Alòs, els descendents dels quals posseeixen el títol de barons de Balsareny.