Aquest santuari, al sud-est del terme, al costat de la carretera de Pontons, fou una capella tradicional de la parròquia de Sant Jaume de Montagut. Fou i és l’església de la quadra i veïnat de Valldossera sorgit a l’entorn d’una torre subsidiària del castell de Montagut. La menció més antiga de l’església és de l’any 1093, en què el comte Berenguer Ramon II de Barcelona va fer donació a Bertran Otó de la torre que anomenaven Valldossera, al terme del castell de Montagut, amb les seves pertinences i amb l’església de Santa Maria que allà hi havia. En la confirmació d’aquest document de l’any 1110 hom torna a esmentar l’església de Valldossera. Al final de l’edat mitjana la capella ja havia esdevingut un santuari marià d’anomenada. Era especialment important la festa de la Mare de Déu de setembre (8 de setembre), que congregava multitud de devots.
La capella era servida per beneficiats que eren presentats pels abats de Santes Creus, senyors del lloc, i confirmats pels arquebisbes de Tarragona.
L’any 1869 l’església de Sant Jaume de Montagut va perdre el seu caràcter parroquial i la seu parroquial es traslladà a Valldossera. Hi hagué rector a Valldossera fins després de la Guerra Civil Espanyola. L’edifici actual és barroc, de la darreria del segle XVII, i recentment ha estat restaurat. La imatge d’alabastre de la Mare de Déu de Valldossera, del segle XIV, fou molt desfigurada el 1936.