Les primeres notícies històriques sobre aquesta fortalesa corresponen a l’any 986, data en què en el precepte que el rei Lotari va atorgar al monestir de Sant Cugat del Vallès consta que feia de termenal del castell de Clariana un puig anomenat Guardiola d’Albarells. L’any 1086, en acudir Berenguer Sunifred de Lluçà al castell d’Albarells per consagrar l’església de Sant Martí d’Albarells, segurament eren senyors del terme Bernat Onofre i el seu nebot Guillem. de tota manera, la família Albarells, cavallers —milites — que segurament procedien d’ascendència castlana, consten com a senyors del lloc en entrar al segle XIII. El 1251 Bernat d’Albarells féu donació del castell i de tot el terme al monestir de Montserrat, juntament amb unes possessions a Jorba, tot rebent del prior 1 000 sous barcelonesos. En els anys següents el monestir de Montserrat hi amplià les possessions; en destaca l’adquisició, el 1252, de les propietats que tenien a Albarells els hospitalers, cedides en bescanvi per propietats del monestir de Montserrat a Freixenet. El monestir de Montserrat anava teixint un conjunt d’espais sota el seu control en tota aquesta zona: Albarells, Rocamora, Carbasí, Bellmunt, Contrast. En el tombant del segle XIII al XIV Albarells visqué una confrontació reiterada amb els veïns de Jorba. El 1305 Ramon de Castellolí, “senyor alouer del castell de Jorba, de nit e ab molts cavallers, mà armada”, va atacar Albarells. Es generà una forta tensió entre el baró i el veguer de Cervera, el qual es veié obligat a intervenir en l’enfrontament, sobretot perquè el monestir de Montserrat s’havia acollir a la protecció reial. Ja en la segona meitat del segle XIV, el monestir n’arrodoneix el domini en obtenir de l’infant Joan, primogènit i governador general del regne, la plena jurisdicció sobre aquests llocs que li pertanyien.