Comtat des del segle IX, pertangué, com la resta del ducat d’Aquitània, del qual formava part, als comtes de Poitiers, als Plantagenet (1152) —després reis d’Anglaterra— i als comtes de Tolosa (1196). Durant la croada contra els albigesos, l’Agenès fou ocupat per Simó de Montfort (1212): la ciutat d’Agen, que es mantingué en l’ortodòxia catòlica, acollí Simó abans que aquest ataqués Pena d’Agenès, cap i clau del comtat. Del 1259 al 1444 fou un punt de fricció entre les corones de França i d’Anglaterra (del 1360 al 1444 estigué sotmès de nou al rei d’Anglaterra), però fou, finalment, incorporat a la corona de França.