El poble d’Ollers és situat a la banda nord-occidental del terme municipal. La primera referència documental del topònim Ollers data del segle XI, quan apareix in podio super Ollers com una de les afrontacions territorials del castell de Forès, el qual havia d’ésser edificat en les terres que els comtes de Barcelona Ramon Berenguer I i Almodis cediren a Miró Foguet i a Bernat Llop. Tanmateix, hi ha una certa discrepància pel que fa al moment en què es va atorgar aquest document. La seva data, 1038, és certament errònia, ja que en aquell moment no existien o actuaven encara els comtes atorgants, els quals van esposar-se vers el 1052; això ha fet suposar a J. Sobrequés que la data exacta del document seria el 1058, mentre que altres historiadors, com A. Benet, el consideren fals.
Deixant de banda aquesta primera menció, força controvertida, un primer esment documental segur data del 1076, quan el torrente Olers consta com un dels límits territorials d’un alou situat a la part meridional del comtat de Barcelona, donat en feu pels comtes barcelonins Ramon Berenguer II i Berenguer Ramon II a Bofill Oliba; també el mateix dia tots dos germans feren donació a Adalbert Sendred de la quadra d’Ollers, la qual posseïen per herència paterna. Vers l’any 1080 un fill d’Adalbert, dit Gaubert, amb el consentiment de la seva mare Marideda, cedí una tercera part d’aquesta quadra a un tal Sunifred.
Vers mitjan segle XII són testificats documentalment alguns membres del llinatge dels Ollers, com un tal Guillem Ollers, el qual l’any 1165 figura com a signant en una concòrdia entre el monestir de Santes Creus i el de Valldaura; tot al llarg d’aquesta centúria hom troba en diverses escriptures personatges cognominats Ollers en la zona propera a aquest indret, però no pas vinculats directament amb Ollers i la seva fortalesa.
Es desconeixen, ara per ara, els mecanismes de transmissió de la propietat del castell en el període comprès entre la darreria del segle XI i l’inici del segle XII. Sembla, però, que a mitjan segle XII el castell d’Ollers era una de les propietats de Pere de Santesteve, atès que el 1164 aquest darrer, juntament amb la seva muller Ermessenda, el cedí en feu a Arnau de Verdú, tot retenint-ne la senyoria. L’any següent, el 1165, l’arquebisbe de Tarragona, Bernat Tort, cedí a Pere de Puigverd els delmes de la vila de Barberà i de les quadres d’Anguera, Ollers, Pinetell i Montornès, per tal de facilitar la colonització d’aquests llocs. Dos anys més tard, però, Pere de Puigverd, en fer testament, llegà tots aquests delmes al cenobi de Santa Maria de Poblet. Aquesta deixa testamentària provocà diverses discrepàncies, les quals finiren l’any 1181 mitjançant una concòrdia firmada per l’arquebisbe de Tarragona i l’abat Hug de Poblet.
Tot i això, uns quants anys abans, el 1174, Bernat de Santacoloma i la seva esposa Sança havien cedit tots els drets que posseïen sobre el castell d’Ollers a l’orde del Temple, amb què s’inicià així un procés d’expansió del predomini templer sobre aquesta zona. El 1180, Pere de Lodger i la seva família vengueren als templers tots els drets que tenien sobre Ollers, els quals els pervenien de la cessió que els havia fet l’esmentat Bernat de Santacoloma. Aquest mateix any Arnau de Verdú i Pere de Santesteve també traspassaren a l’orde tots els drets que tenien sobre el castell i el terme d’Ollers.
A la darreria del segle XII, el 1198, s’establí una concòrdia entre els templers i Berenguer de Freixenet, el qual, pel preu de 180 sous barcelonesos, els cedí tots els drets que havia adquirit sobre el castell i terme d’Ollers.
Amb tot, el domini eminent devia romandre encara al llarg del segle XIII en poder de la corona, atès que el 1285 el rei Pere II donà al seu metge, Arnau de Vilanova, en compensació dels seus serveis, tots els drets que posseïa sobre el castell d’Ollers. El 1288, però, i d’acord amb la seva muller Agnès, Arnau de Vilanova permutà els drets sobre l’esmentada fortalesa amb el notari del rei, Pere Marquès, el qual en degué gaudir poc temps, ja que el 1294 el rei Jaume II va confirmar el domini dels templers sobre Ollers; la senyoria d’aquest orde militar sobre Ollers havia estat aconseguida el mateix any 1294 en la permuta de la ciutat de Tortosa per un conjunt de possessions, entre les quals figurava l’esmentada població amb el seu castell.
A l’inici del segle XIV la fortalesa d’Ollers, tal vegada com les altres propietats templeres, passà a mans dels hospitalers, els quals encara en retenien la senyoria al segle XVII.
Del castell d’Ollers, a redós del qual s’havia format la població, no resta avui dia cap vestigi.