El castell de Vergós Guerrejat, al límit sud-est de l’actual municipi d’Estaràs, com molts altres del seu sector, formava part en els seus orígens del comtat de Berga. La referència més antiga d’aquest castell és de l’inici del segle XII. En el testament de Berenguer de Puigverd del 1103 es constata que aquest noble tenia les castlanies de Santa Fe, en nom de Berenguer Ricard, i la de Vergós, en nom d’Hug Arnau. Des del començament del segle XII també es fa esment d’una família que havia adoptat el patronímic de Vergós. Bertran i Ermessenda, senyors d’Altet, en el seu testament de l’any 1117, establiren com a marmessor Galceran de Vergós.
Almenys des del final del segle XIII o el començament del segle XIV en foren senyors Bernat d’Oluja Sobirana i els seus descendents. Tots els fogatjaments del segle XIV reconeixien la dependència del lloc envers els Oluja.
L’antic castell que domina el llogaret és avui dia un gran casal senyorial, reformat al segle XVI, que ja no presenta traces romàniques.