Aquest castell és citat per primera vegada l’any 893 en la venda que Emerà, la seva muller Adevora, Emolat i la seva muller Sirga feren a Teodilà d’una vinya situada “in castro Erolas, in loco que dicitur ad Cunio...”.
A la segona meitat del segle XI, el castell reapareix com a afrontació occidental dels castells de Llimiana i Mur (1055, 1056) i oriental del castell de Castissent (1077). Entre el 1061 i el 1098 Dou, intitulat baró d’Eroles, i el seu germà Oliver posaren llur honor sota la protecció del comte Ramon V de Pallars Jussà.
L’any 1149 els comtes Arnau Miró I i Oria establiren una convinença amb llur castlà, Roger d’Eroles, sobre les potestats dels castells d’Eroles i de Montllobar.
En els fogatges de 1365-70 i 1381 els donzells Dalmau d’Eroles i Simó d’Eroles figuren respectivament com a senyors d’Eroles i Montllobar. L’any 1392 Joan I alienà del patrimoni reial vuit focs del terme a Ramon Roger d’Eroles.
El 7 de maig de 1404 la jurisdicció dels llocs i castells d’Eroles, Montllobar i Sant Adrià fou incorporada a la corona.
Al llarg dels segles XVI-XIX la baronia d’Eroles, que comprenia els llocs d’Eroles, Montllobar, Sant Adrià, Alsamora, la Vileta, Gurp, la quadra de Cabiserans i Morrebeig, passà dels Eroles als Queralt, als Vilanova, als Borrell, als Ibáñez-Cuevas i als Oriola-Cortada.