El poble d’Albió, emplaçat damunt un tossal a la riba dreta del Riu Corb, és situat a la banda més occidental del terme de Llorac. Una de les primeres mencions documentals del seu castell —al voltant del qual s’originà la població— data de l’any 1075, en una escriptura per la qual Guillem, fill de Mir, va fer donació a la seva esposa Ermengarda de la meitat d’un alou que li pervenia per aprisió i per donació, situat dins el terme del kastro Albio, en un indret anomenat Val Dalfez, unes altres dues escriptures datades els anys 1078 i 1080 consignen novament l’esmentat castell, el terme del qual afrontava amb els dels castells de Montargull i Rauric. Un segle més tard, en l’acta testamentària que Berenguer de Montargull atorgà l’any 1170 poc abans d’ingressar a l’orde del Temple, llegava el lloc d’Albió a l’esmentat orde. Cal dir que Berenguer de Montargull era membre de la família dels Su, la qual senyorejava a la darreria del segle XII els llocs de Montargull i Albió.
Pocs anys més tard, per una escriptura datada el 1174, Pere de Colomers va definir tota la terra que posseïa sota del domini de Berenguer de Montargull, comanador de Barberà, al lloc d’Albió. Al llarg del segle XII, els templers aconseguiren eixamplar els seus dominis a Albió fins a l’indret dit Torre d’Albió, que avui dia és una partida del terme. Així, hi ha referència que l’any 1181, els germans Berenguer i Ponç d’Albió empenyoraren als templers les quèsties que percebien a Albió, i uns quants anys més tard, el 1192, Gombau d’Oluja aprovava en favor de l’orde del Temple les diferents donacions de béns del lloc d’Albió realitzades per diversos membres de la família Su.
Tot i que els templers tenien ja importants possessions a Albió a la darreria del segle XII, hi ha notícia per un testament atorgat l’any 1185 pels esposos Guerau de Jorba i Saurina, que aquests llegaren a la seva filla Gueraua, muller de Pere de Puigverd, diversos alous que posseïen a la Conca de Barberà i també tots els drets que tenien al castell d’Albió.
A l’inici del segle XIII, l’any 1211, pel testament de Pere de Vallverd, hi ha referència que el testador deixà al seu fill —que encara no havia nascut—, els castells d’Albió, Vallverd i Fillol, i tot el que posseïa als termes d’Aguiló i Colomers. Posteriorment, l’any 1237, Berenguera de Llorac, filla de Bernat de Fillol i Beatriu, i germana de Pere de Vallverd, feu cessió a l’orde del Temple de la fortalesa d’Albió. Tot i així, l’orde no posseïa encara tots els drets sobre aquest lloc, car el monestir cistercenc de Vallbona de les Monges també en tenia alguns. Aquesta situació originà un seguit de plets entre les monges de l’esmentat cenobi i els frares templers, els quals obtingueren el domini total de l’indret el 1250.
A la darreria del segle XIII, els templers eren ja senyors del lloc d’Albió, però amb la dissolució de l’orde l’any 1317, aquest indret passà al domini dels hospitalers, com totes les altres possessions que havien tingut els templers a Catalunya. De tota manera, la jurisdicció reial sobre Albió es mantingué fins al segle XIV, car el 1380 l’infant Joan (futur Joan I) vengué al gran prior de Catalunya, Guillem de Guimerà, la jurisdicció alta i baixa, civil i criminal que el monarca tenia a diversos llocs, entre els quals hi havia Albió.
El poble d’Albió es mantigué dins el domini dels hospitalers fins a la fi de les senyories. (MLIR-EPF)
Del seu antic castell en restaven, fins fa pocs anys, els vestigis d’una torre de planta quadrangular, els quals foren destruïts arran de la construcció dels fonaments d’un repetidor. (JBM)