El primitiu santuari era a la masia de Paller de Dalt, on hi ha restes de l’església; esmentat ja el 1200, era sota la cura d’un sacerdot i donats i tenia una nombrosa confraria de devots. Depenia del monestir de Bagà i la primitiva església fou encara refeta el 1687. El 1747 s’inicià la construcció de l’actual santuari a Paller de Baix, prop de la font dels Banyadors (per això se'n digué també Santa Maria dels Banyadors); era costum que els devots s’hi banyessin i que se n'emportessin aigua, considerada miraculosa. A partir del 1772 fou ornamentat amb retaules i altars que foren destruïts en bona part el 1936, i reconstruïts després.