El lloc d’Olvan apareix ja esmentat en l’acta de consagració de Santa Maria de la Seu d’Urgell. La primera referència sobre el castell d’Olvan data del final del segle IX, quan el trobem esmentat en l’acta de consagració de l’església de Santa Maria d’Olvan, datada el 9 de desembre de l’any 899. En aquesta acta podem llegir que el bisbe Nantigís d’Urgell consagrà, a precs d’un noble anomenat Fruia i de tots els altres habitants de la parròquia del castell d’Olvan, una església dedicada a Santa Maria: “Ideo iamdictus Froia vel cetera plebs habitantes i castro Oleane vel episcopus terminia tradimus iamdicta ecclesia in potestate dompni et piisimi pontificis nostri Nantiguisi ad consecrandum...”. Aquesta consagració s’ha d’inscriure en l’operació de repoblació, que amb l’organització d’una xarxa àmplia d’esglésies i castells per establir el poblament, fou obra de la primera dècada del segle X, a iniciativa dels propis immigrats, sostinguts pel bisbe Nantigís d’Urgell i Miró el Jove, successor de Guifré el Pelós en el govern d’aquesta terra. Aquesta notícia tan reculada és l'única referència històrica que tenim sobre el castell d’Olvan.