La primera notícia del lloc d’Albarca és de l’any 1152, en què era a mans de Ramon de Cervera el qual, el 29 de setembre del mateix any, juntament amb la seva esposa Ponceta, féu donació de l’església del lloc a Pere, capellà de Pinós, amb l’obligació de crear-hi una cavalleria. No s’esmenta, però, el castell, que s’hauria retingut el donador i que no es troba ben documentat fins el 1182. Al juliol d’aquell any Ramon de Cervera va testar, deixant el castell al seu fill Guillem i, si aquest moria sense fills, a la seva filla i els seus descendents. Pel que fa al seu origen, resta clar en aquest document la seva procedència sarraïna: castrum de Albarcha et ipsam almuniam. Avui no hi ha pràcticament cap resta visible que pugui ser atribuïda al castell, í de fet només resta el topònim —el “Pla del Castell"— que el situa al lloc més preeminent del turó on és assentada la vila, i des d’on es podia controlar el pas pel coll d’Albarca i el camí d’accés a la vila.