Fins a mitjan segle XII el lloc de Claravalls formà part del castell d’Areny. D’ençà i a partir de l’empenta del llinatge senyorial que prengué el seu nom, és quan es troben citats el castell i el terme de Claravalls. Segons M. Iglesias, el lloc passà dels Claravalls als Pellicer i després als Calassanç (1448), que en portaren el títol baronial i tenien representació pròpia a les corts del regne. Els Calassanç foren personatges cèlebres del seu temps; havien fet fortuna com a partidaris dels Antequera i gairebé monopolitzaren el càrrec de conseller general del quart comtat de Ribagorça al llarg del segle XVI.
El magnífic conjunt casteller de Claravalls, damunt un tossal de la serra de Sant Marc, s’ha de datar als segles XV i XVI. Sens dubte foren els Calassanç els constructors del torricó de planta i finestres rectangulars, del palau i de les dependències castelleres, conjunt que afaiçona un esplèndid recinte clos. Certament, ací trobà inspiració Joan de Bayarte de Calassanç i Ávalos, governador militar a les Illes Balears (1664-1689), que inventà un nou sistema d’artilleria, però es va veure obligat a vendre la senyoria de Claravalls per tal de finançar el projecte.