Aquest castell es bastí amb tota probabilitat a mitjan segle XI, període en el qual el comtat de Manresa protagonitzà una nova expansió envers ponent i es repoblà tota la zona propera a Cervera. El castell apareix en mans dels Cervera al segle XII. En el testament sacramental de Guillem Dalmau de Cervera del 1133, el castell fou llegat al seu nét Guillem II de Cervera. En morir aquest, l’any 1173, llegà el castell de Sant Antolí al seu fill, anomenat també Guillem. No obstant això, consta que el 1182 Berenguer de Ballestar, potser el castlà, llegà en testament el castrum Sancti Antonini al seu germà Bernat. El 1246 Sibil·la de Cervera es casà amb Ramon de Montcada i per dot li cedí els drets que tenia als castells de Timor, Sant Antolí, Gàver, Estaràs i d’altres. El 1251 Jaume I bescanvià amb el senescal Guillem Ramon de Montcada i la seva esposa Sibil·la de Cervera el castell d’Albalat pel domini i les rendes de Cervera, Pujalt, Timor, Sant Antolí, Gàver i Estaràs. El rei fou el senyor eminent del terme a partir d’aquell moment, tot i que l’infeudà als Queralt. El 1326 era feudatari de Sant Antolí pel rei Francesca de Queralt i el seu fill Ponç. El 1370 Pere el Cerimoniós va empenyorar o vendre Sant Antolí i altres llocs a Alamanda, muller de Pere de Queralt. Tot i que Alfons el Magnànim va declarar el terme de Sant Antolí unit a la corona el 1420, durant el segle XV passà als Aimeric. Joan d’Erill, mort el 1578, es casà amb Aldonça d’Aimeric i d’aquesta manera els Erill en passaren a ser senyors del castell fins a l’extinció dels senyorius al segle XIX.
L’antic castell de Sant Antolí, de traça gòtica, es conserva en part al costat de la primitiva església parroquial del poble de Sant Antolí.