El lloc d’Olost apareix com a pertanyent al terme del castell d’Oristà a partir del 908, quan una terra es trobava situada en el castell d’Oristà, a les adjacències de Santa Maria d’Olost. L’existència del terme del castell d’Oristà es constata fins al 1065. Per altra banda a partir del 1059 comencen a aparèixer uns personatges cognominats Olost. Ramon Guifré d’Olost és el primer que apareix l’any esmentat, però no serà fins el 1155 que es constatarà documentalment que eren senyors del castell d’Olost, encara que pel cognom es pugui pensar que ho eren des de mitjan segle XI, com a mínim. La família Olost perdurà en el domini del castell, que passà als castlans del castell de Gurb, per matrimoni, i pel mateix motiu els Peguera s’introduïren en el senyoriu del castell d’Olost, un descendent dels quals, Bernat de Peguera, el 1438 cedí el domini del castell al seu nebot Galzeran Galzeran de Pinós i de Fenollet. El castell fou enderrocat vers el 1470 i reconstruït poc després. La part de migdia del castell o sector residencial es va construir en bona part el 1620, aprofitant el pati i elements d’època anterior. En l’actualitat ha estat restaurat pel doctor Antoni Puigvert.