Una de les primeres mencions documentals del lloc d’Ollers —petit poble situat a la banda nord-occidental del terme— data del segle XI, quan en la delimitació territorial del castell de Forès, que havia d’ésser bastit en les terres que els comtes barcelonins Ramon Berenguer I i Almodis cediren a Miró Foguet i a Bernat Llop, s’esmenta el podio super Ollers. Tanmateix, aquesta escriptura presenta certes discrepàncies pel que fa a l’any de la datació, car la data, 1038, és errònia, ja que no existien o actuaven els comtes atorgants, els quals van esposar-se vers el 1052. Deixant de banda, aquest esment documental, considerat suspecte, el lloc d’Ollers és escripturat de manera certa el 1076, any en què els comtes de Barcelona Ramon Berenguer II i Berenguer Ramon II donaren a Bofill Oliba un alou situat al límit meridional del comtat de Barcelona, el qual delimitava per una banda amb el torrente Olers.
Des de mitjan segle XII, la documentació mostra l’existència del castell d’Ollers, el qual era propietat d’un cert Pere de Santesteve, que conjuntament amb la seva esposa Ermessenda el cedí en feu l’any 1164 a Arnau de Verdú. Hom no ha pogut establir de manera certa en quin moment es bastí l’església d’aquest indret, dedicada a santa Maria, però cal pensar que en la darrera data esmentada ja devia existir, atès que era sufragània de la de Barberà de la Conca; per aquesta causa, consta que els feligresos d’Ollers, al segle XIII, havien d’acudir per algunes qüestions a la parròquia de Barberà, car l’església d’Ollers no tenia escrivania.
Al segle XVII s’enderrocà la primitiva església romànica i se’n construí una de nova, d’estil barroc, la qual avui dia es troba mig derruïda a causa dels danys ocasionats per la guerra civil de 1936-39. És situada a mig penya-segat, format pel riu de Vallverd. Per aquesta causa, aquest segle es construí al bell mig del poble una nova església, també dedicada a Santa Maria, la qual continua essent sufragània de la parròquia de Santa Maria de Barberà.