Tal vegada existí un castell vora el Portilló de Benasc amb la finalitat de vigilar aquesta important via de comunicació vers Comenge. Dóna notícia d’aquesta fortalesa un document de l’any 1172, en què Alfons el Cast concedí a l’orde de l’Hospital el dret de pasturar a les estives del port de Benasc, les quals confrontaven amb Castell Ferran.