No gaire lluny de Penafel, però separat pel torrent de Mata-rectors, hi ha el barri d’Espitlles. El lloc, dins del castell d’Olèrdola, s’esmenta l’any 974, data en què era possessió de Sant Pere de Roda.
El topònim entra de ple dintre la semàntica toponímica castellera, com a lloc de guaita o talaia. D’això es desprèn l’existència al segle X d’una torre, la qual en segles posteriors s’engrandí i s’anomenà castell, com consta en documents del segle XVIII.
Avui dia no queda cap vestigi de la torre ni se sap l’indret on era dintre del nucli d’Espitlles. Hi ha una casa del lloc anomenada “el Castell”, la qual, tot i que és moderna, sembla que a mitjan segle XIX substituí un edifici anterior, fortificat.
El 1466 Gaspar d’Espitlles s’intitulava senyor de Santa Margarida i establí una deixa a favor de Santa Maria de Penafel. El lloc d’Espitlles pertanyia el 1574 a Jaume de Copons i els seus descendents en continuaren el domini durant tot el segle XVII.