Malgrat la possible existència d’un castell sarraí a la vila que avui coneixem amb el nom de la Pobla de Mafumet, hom descarta la pretesa localització llegendària d’un castell de grans proporcions en aquest indret; un castell que segons la tradició rondallística seria fortíssim, inexpugnable i gaudiria de grans jardins.
És evident, però, la relació entre la vila i la dominació sarraïna, no sols per les troballes numismàtiques que s’han fet d’aquesta cultura, sinó també per l’etimologia del mateix nom. Així, a l’edat mitjana hom coneixia la vila per la “Guàrdia de Mahomet” i després canvià pel ja conegut de la Pobla de Mafumet. Molt probablement —tot i la diversitat d’opinions—, aquesta edificació era defensada per una guàrdia cristiana, que trobaria el seu fonament en la vigilància dels possibles atacs sarraïns procedents de Siurana i de les muntanyes de Prades.
El castell l’hauríem de localitzar davant mateix de l’església, en el lloc que avui és el xamfrà de la plaça amb el carrer de Nostra Senyora del Lledó. Relacionat amb el castell, de factura modesta, possiblement devia existir alguna edificació defensiva a la manera de muralles, sense arribar, però, a encerclar tota la vila. Excepció feta de les poques referències documentals, res no en resta que no sigui en la memòria oral dels més vells del poble.
La Pobla de Mafumet formava part de l’antic terme del Codony i, a partir de la documentació, es pot afirmar que ja existia com a unitat administrativa abans de l’any 1173. Un dels primers senyors del castell de la Pobla fou Guillem de Montoliu, llinatge al qual pertanyé la vila fins als darrers temps. Després de l’esmentat Guillem i el seu fill, arribà un Ponç de Montoliu —ja a la segona meitat del segle XIII— el fill del qual, Galceran de Montoliu, va afegir a la senyoria de la Pobla, la dels Garidells. Més endavant, el 1358, Berenguer de Montoliu deixà ambdós castells als seus fills Guillem, Bernat i Berenguer, però aquests eren massa joves i restaren sota la custòdia d’en Bernat de Plegamans. D’aquests tres germans, Guillem de Montoliu va fer costat, el 1359, a les tropes de Pere III en la guerra contra Castella. Bernat consta com a senyor de la Pobla el 1399 quan disputà a l’arquebisbe Ènnec de Vallterra la jurisdicció sobre els vassalls de la Pobla, drets reials que el prelat tarragoní havia adquirit per mitjà de la venda que en feu Joan I el 1391. Finalment, al començament del segle XIV, fou Berenguer, el darrer germà, qui quedà com a únic senyor de la Pobla de Mafumet.
L’any 1416, Berenguer de Montoliu i la seva muller Bartomeua feren donació dels llocs dels Garidells i de la Pobla al seu fill Guillem. Aquest fou el darrer Montoliu que ensenyorí la vila, atès que, juntament amb la seva dona Joana i el seu fill Joan Gabriel, la vengueren el 12 d’agost de 1429 al tresorer de la seu tarragonina, Pere Arnau Ramon. La venda, motivada per la precària situació financera dels Montoliu, comportà el traspàs de la totalitat dels drets que tenien sobre la Pobla, i es feu efectiva per un preu de 14 500 sous. En el mateix document de venda, el nou propietari feia alhora donació de la senyoria al capítol catedralici, directriu sota la qual restà des del principi del segle XV fins a l’extinció dels senyorius al començament del segle XIX.