Algunes notícies històriques com ara la donació feta el 1164 per Pere de Santesteve i la seva esposa Ermessenda a Arnau Verdú del castell d’Ollers, fan esment d’un petit castell o fortalesa, situat a Ollers, que aviat va desaparèixer de la documentació. Algun autor suposa que es devia trobar al costat de l’església i que hi podien pertànyer el sector amb espitlleres de la base de l’actual campanar; tanmateix, el detall és poc significatiu perquè ens poguem atrevir a confirmar-ho.