L’antic castell de Calladrons era emplaçat damunt un tossal que domina la vall del Guart per l’esquerra. Vers mitjan segle XI fou conquerit pel comte Ermengol III d’Urgell, i sens dubte, la seva situació entre Casserres, dels comtes de Barcelona, i Benavarri, del rei d’Aragó, donà protagonisme polític a aquest corredor que tenien els dits comtes per contactar amb llurs dominis de la Baixa Ribagorça. Els primers castlans de la fortalesa de Calladrons foren Bertran Borrell i la seva esposa Bonadona, la qual en el seu testament atorgat el 1091 deixà als seus fills Ramon Guillem i Guadall Guillem (segurament d’un segon matrimoni) la meitat del castell amb les seves pertinences. Els seus successors agafaren el cognom de la senyoria, car vers el 1122 apareix documentat un tal Arnau Mir de Kasa de Ladrons. Alguns dels membres d’aquesta família estigueren vinculats a la comanda hospitalera de Santa Maria de Siscar, però la senyoria de Calladrons passà als Estopanyà (1172) i després als Àger. Aquests, segons sembla, la perderen en el decurs de les guerres del segle XV, car al segle XVI el lloc amb el castell restà integrat al quart comtat de Ribagorça i consta des d’aleshores i fins a la fi de l’antic règim en poder dels Bardaixí.
Tot i que el castell de Calladrons era en actiu a l’edat moderna, actualment en resten pocs vestigis. Sembla que fou un dels baluards destruïts per ordre de Felip III de Castella l’any 1602. Els seus darrers carreus foren aprofitats recentment per a l’obra d’un transformador de la llum. Amb tot, hom hi endevina la planta quadrada d’una antiga torre romànica.