El lloc d’Aler és situat a ponent de Benavarri, al vessant occidental de la serra de Sant Salvador. Sembla que aquest indret fou conquerit i organitzat vers mitjan segle XI per un tal Guifré Sal la, fundador del llinatge dels Aler, el qual estava al servei del rei Ramir I d’Aragó. El fill de Guifré Sal·la, dit Bernat Guifré, conquerí l’any 1089 dues terceres parts de Palazuelo per al rei Pere I d’Aragó i concedí a Sant Vicenç de Roda una heretat a Calbera; ja hauria mort probablement quan el bisbe Ramon Guillem consagrà l’any 1105 l’església de Santa Maria d’Aler. Els seus fills participaren activament en l’expansió vers el migdia i deixaren també algunes heretats a la canònica de Roda. L’any 1122 Berenguer Bernat d’Aler, germà d’Osset i Pere, abans de marxar a la host a Lleida, llegà a l’esmentada canònica un alou a Arb i un altre al mateix Aler. D’altra banda, Osset, en una escriptura de donació de diverses heretats datada el 1134 en favor de la mencionada canònica, s’intitulava casteili Aleri dominus; aquest és el primer esment concret del castell d’Aler, del qual foren senyors els membres de la nissaga homònima, que apareix mencionada en la documentació fins a les primeres dècades del segle XIII.
A partir de la baixa edat mitjana el castell d’Aler formà part de la baronia de Castre, que finalment passà als ducs de Medinaceli. En l’actualitat, el casal fortificat que presideix la població i s’assenta damunt un esperó rocós és una construcció datable entre els segles XIV o XV.