Els comtes de Tolosa i d’Albigès hi establiren uns vescomtes, ja citats al s. IX, que no solament participaren activament a les lluites d’Occitània, sinó que també hagueren d’afrontar sovint la senyoria bisbal sobre la ciutat d’Albi. A partir del 1066, com a descendents del casal de Carcassona per la comtessa Ermessenda de Carcassona , els comtes de Barcelona s’esforçaren a fer prevaler llurs drets sobre el vescomtat, bé lluitant contra els Trencavell, que, a més de vescomtes d’Albi, havien esdevingut comtes de Carcassona i, després, de Besiers i del Rasès, bé acceptant llur homenatge i protegint-los com a feudataris. La regió havia estat camp adobat per a predicadors populars, fins al punt que Bernat de Claravall hagué de venir a oposar-s’hi (1147). La implantació del catarisme, amb la institució d’un bisbe heretge a Albi, explica la confusió que ha esdevingut tradicional entre càtar i albigès croada albigesa . Pel tractat de Corbeil , Jaume I renuncià als drets sobre el vescomtat a favor dels reis de França, els quals hagueren de reconèixer als bisbes la senyoria territorial de la ciutat.
L’Albigès pertany al departament francès del Tarn .