L’església de Santa Maria de Paller era inicialment una construcció romànica dins la demarcació de l’antic comtat de Cerdanya, a la vall del Bastareny. Documentada des del segle XII, la primera església devia localitzar-se a l’indret conegut amb el nom de Paller de Dalt. L’any 1193 Galceran de Pinós i el seu fill Ramon feren donació a Santa Maria de Paller de dotze sexters de blat i cent cinquanta sous; aquesta donació havia de cobrar-la l’església de Santa Maria de Paller del delme de Gavarrós, juntament amb un porc i dotze diners que rebien anualment d’un particular de Bagà. L’església de Paller no fou mai parròquia; considerada com a santuari dedicat a la Mare de Déu, era regida per un deodonat. L’any 1290 P. Sasserra nomenà un captaire per aplegar diners per al santuari a canvi d’indulgències atorgades pel bisbe d’Urgell (P. Zaserra, donatus sive gubernator ecclesie sive oratorii beate Marie de Payler). Els barons de Pinós actuaren sovint sobre Paller; algunes vegades atorgant favors a l’església com l’any 1197 en què Ramon Galceran i la seva muller Berenguera empenyoraven per tres-cents sous l’església de Santa Maria de Paller o al prevere que l’habitava, els delmes de pa i vi de totes les terres que treballaven els homes de l’Avellanet volent que si ell no ho redimia abans de morir, tot passés a la propietat de l’esmentada església. L’església i el lloc de Paller (ecclesiae et loci stae. Mariae de Paitari) foren objecte d’una avinença entre l’abat de Sant Llorenç prop Bagà i el rector de l’església de Bagà l’any 1278. Segons aquesta avinença, una tercera part del delme, tota la primícia, els fruits de llana, el delme de carnalatge de Paller, eren del rector així com tots els drets parroquials; l’abat es reservava els drets dominicals sobre el lloc. Paller era, doncs, del monestir de Sant Llorenç i així ho reconeixia Galceran IV de Pinós l’any 1294, afirmant que havia exercit injustament jurisdicció sobre el lloc de Paller. El mateix baró deixava en el seu testament deu sous a l’església o santuari de Paller. El segle XVIII el santuari de la Mare de Déu de Paller era sufragània de Bagà; fou aquest segle, l’any 1747, quan fou construït el nou santuari prop de la Font de Banyadors i abandonat l’edifici antic.