Aquest castell era situat al turó on hi ha el poble de Pomar, una antiga vila closa que ha estat molt modificada. El castell de Pomar va estar estretament lligat en els seus orígens als de Montlleó i Briançó. La primera notícia d’aquesta fortalesa és del 1101, en què aquests tres castelis foren cedits per Geribert Hug al bisbe de Vic Guillem Berenguer. Al segle XII hi ha documentada una família de castlans cognomenada Pomar. El domini de la mitra vigatana sobre el castell de Pomar s’allargà fins al segle XIII. El 1254 Bernat de Mur cedí a Pere II de Queralt els seus feus de Montlleó i els castells de Briançó i Pomar, juntament amb un molí i un mas. El 1260 Pomar consta que era de Berenguer de Queralt i que hi tenia per castlà Berenguer de Pomar. El castell de Pomar formà una espècie de quadra autònoma que era propietat el 1381 de G. de Carboners, ciutadà de Barcelona i senyor de Montlleó í Briançó.
El terme es vinculà posteriormenttambé a Sant Antolí. Pels documents dels segles XV i XVI es comprova com ambdós llocs pertanyien als mateixos senyors, els Aimeric, i des del final del segle XVI als Erill.