Era l’antic vescomtat d'Urgell, limitat a la part més antiga del comtat des de la creació del vescomtat del Baix Urgell (ben aviat anomenat d’Àger) pel comte Ermengol V el 1094, en intentar la reconquesta de Balaguer. El 1126, el vescomte Pere Ramon, que vinculà a la seva, per matrimoni, la casa vescomtal de Cerdanya, prengué el títol de vescomte de Castellbò, que dugueren des d’aleshores els seus successors (vescomtat de Castellbò).