El primer esment concret de la vila de Cassibrós data de l’any 1146, en l’acta de consagració de l’església de Sant Martí de Cardós o del Pui, a la qual els habitants de la població havien d’ajudar amb mig modi de blat a l’any. De jurisdicció del lloc, antigament dels comtes de Pallars, va ser a la fi de les senyories dels ducs de Medinaceli, com a hereus dels ducs de Cardona.
En la visita dels delegats de l’arquebisbe de Tarragona a les esglésies parroquials del deganat de Cardós, l’any 1314, hi consta l’església de Sant Andreu de Calcibrós. Tanmateix, a la fi del segle XV o principi del XVI, Sant Andreu ja no gaudia de la categoria d’església parroquial i sembla que depenia d’Ainet de Cardós. L’any 1758 era sufragània de l’església de Santa Maria de Ribera. L’any 1904 fou segregada d’aquesta parròquia i unida a la de Lladrós. Actualment és una església annexa de la parròquia de Llavorsí.