La major part de les notícies que hi ha sobre el lloc d’Espés són indirectes i no diferencien pas els nuclis de Sus i de Jus. Probablement, el primitiu castell d’Espés, del qual tampoc hi ha referències, era emplaçat damunt el tossal homònim, i al seu redós devia sorgir el nucli de Sus; potser també hi havia un baluard a Espés de Jus, però, segons el capbreu comtal de mitjan segle XVI, era al primer i confrontava, llavors, amb la plaça. Cal destacar que controlava els passos de la serra del Turbó, és a dir, l’important port de les Ares i el congost d’Ovarra, i per tant les comunicacions de la subcomarca coneguda com a Super Aras. Tal vegada aquesta situació privilegiada pot explicar que aquest indret fos bressol d’un alt llinatge ribagorçà, els barons d’Espés. Tot i que alguns erudits com J. Pujades donin esment d’un mític Berenguer d’Espés com un dels conqueridors de Lleida, en principi, formaven part de la noblesa de segona fila. Es dedueix per les escriptures conservades que els Espés eren castlans de lloc com a vassalls dels Erill, puix que tant Gombau d’Espés (1140) com Ramon I d’Espés (1157) actuaren de testimonis en documents relacionats amb aquests senyors.
A mitjan segle XIII Ramon III d’Espés ja es titula senyor de feus principals com Lierp, Graus, Benavarri i Fraga. L’any 1283 Bernat d’Espés fou un dels cavallers que feren valença al rei Pere el Gran amb motiu del seu desafiament de Bordeus amb Carles d’Anjou, i Pere d’Espés l’any 1312 aconseguí la restitució de l’Aran.
Tanmateix, hom sap ben poca cosa de la seva actuació al solar pairal, ni com n’aconseguiren la possessió alodial. A la baixa edat mitjana traslladaren llur residència a Benavarri, on s’emparentaren amb els Montgai, i com a barons d’Alfajarín, senyors de Montoliu, de Miravalls i de Preixens, prengueren part indistintament en les corts catalanes i aragoneses; una branca s’establí a Sardenya, on posseí els marquesats de Vilamarina i de Sant Andreu, i una altra a Lleida entroncant amb els Sescomes.
Al segle XV, els Espés, malgrat ésser decidits partidaris de Jaume el Dissortat en un primer moment, després feren una gran fortuna al servei de la casa dels Trastàmara; al segle XVI els d’Alfajarín emparentaren amb els Alagón, comtes de Sástago, i llurs descendents portaren el cognom Alagón-Espés indistintament.
El primer fogatjament conegut, de l’any 1495, consigna a Espés de Sus 4 focs i a Espés 14 focs. En principi, al comtat de Ribagorça, la baronia d’Espés comprenia nou llocs: Espés de Sus, Espés de Jus i Abella, Bibils (a Bonansa), Buielgues, Perafita, Sant Feliu de Veri i Sant Valeri (a Bissaürri), i les Llagunes(a les Paüls); a mitjan segle XVIII, però, havia quedat reduïda als quatre primers, més Girbeta, la Millera i Cases de Montanyana.