El topònim Calbera significa “munt nya pelada”; es refereix al turó sobre el qual s’edificà la població, presidida pel castell de Calbera, que dominava la petita vall de Castrocit i el curs de l’Isàvena, per on corria una antiga calçada romana que pujava cap al port de les Tosses, el coll de Pegà i la Croqueta. El control del castell de Calbera fou vital per als primers comtes ribagorçans; a l’inici del segle XI és esmentat per primera vegada, quan l’any 1012 l’abat Galí d’Ovarra i el seu germà Ató compraren unes cases a la vila de Calbera, al lloc dit Sobrecastell, per 4 sous. Segons un instrument del comte Guillem Isarn, aleshores Orrató Asner era tenente de Calbera (1013). Dels senyors de Rallui-Lierp passà per matrimoni als Entença. Trobem consignats com a castellans de Calbera els següents membres d’aquest llinatge: Pere Mir (1135), Berenguer III (1290) i Guillem III (1307), després del qual revertiria a la corona amb la resta de la baronia.
D’altra banda, la castlania era en poder dels Beranui. Segons sembla, a partir dels Beranui s’originaren dues branques relacionades amb Calbera. La primera fou la dels barons d’Espés. Ramon I d’Espés era casat amb Elisenda de Beranui, que probablement aportà als béns patrimonials la Quadra de Calbera, car llurs fills donaren al monestir d’Ovarra l’església de Santa Maria de la Quadra o de Calbera (1225). La segona portà el cognom Calbera, almenys, des de Pere I Bremon, senyor de Calbera (1112).
Jaume II integrà el domini territorial i jurisdiccional de Calbera al tercer comtat de Ribagorça. A mitjan segle XVI figura encara el castell de Calbera. Els comtes tenien infeudada la castlania als Calassanç. La casa-castell de Calbera, que presideix el monticle a redós del qual es troba el poble, va ésser habitada fins fa ben pocs anys. Conserva un dels cossos i una esvelta torre de planta més o menys quadrada que possiblement, sota coberts i afegits, amaga paraments o elements romànics. Sota mateix de la torre són vistents alguns murets d’època indeterminada.