La primera referència històrica d’aquest santuari de la vall de Boí és de l’any 1191, en què els esposos Pere de Girbeta i Arsenda, amb llur fill i la muller d’aquest. Anglesa, concediren en almoina a Sancte Marie Calleis tot el que posseïen en un capmàs d’Àneu, per a la remissió de llurs ànimes i les dels seus pares. Al segle XIV l’església de Santa Maria de Caldes era regida per un sacerdot que tenia el títol d"’abat”.
Així consta en la visita papal del 1373, en què ho era Pere de Perves. Segles després consta que fou un centre de beneficència de la mitra d’Urgell i que s’hi reunien els conrectors de la vall. Gaudí de gran devoció la Mare de Déu de Caldes, una imatge de tradició romànica que presidia l’altar l que desaparegué durant la guerra civil de 1936-39. L’actual edifici, al costat del balneari de Caldes, no conserva cap vestigi romànic. Es tracta d’una església barroca.
Hom suposa que l’església de Santa Maria de Caldes fou bastida al costat d’unes antigues termes romanes i que tal vegada substituí un lloc de culte pagà.