El lloc d’Olvan apareix ja esmentat en l’acta de consagració de Santa Maria de la Seu d’Urgell. La primera referència sobre el castell d’Olvan data del final del segle IX, quan el trobem esmentat en l’acta de consagració de l’església de Santa Maria d’Olvan, datada el 9 de desembre de l’any 899. En aquesta acta podem llegir que el bisbe Nantigís d’Urgell consagrà, a precs d’un noble anomenat Fruia i de tots els altres habitants de la parròquia del castell d’Olvan, una església dedicada a Santa Maria: “Ideo iamdictus Froia vel cetera plebs habitantes i castro Oleane vel episcopus terminia...