En el seu testament publicat el 1071 Ramon Miró deixà el puig d’Hortoneda amb el castell d’Olient (“ipso podio de Ortoneda simul cum ipso castro de Ulien”) al seu fill Pere.
L’any 1081 Pere Udalard donà al monestir de Gerri un capmàs situat “in castro de ipsa Turre Dulien” en acció de gràcies per haver recuperat el castell, recuperació que atribuí a un miracle fet per intercessió de Santa Maria i de Sant Vicenç. Sabem que Udalard era nebot de Sunyer, fill del comte Ramon; els anys 1097 i 1101, abans d’emprendre el seu pelegrinatge a Jerusalem, donà al monestir de Gerri dos homes del castell de la Torre d’Olient.
Possiblement aquest castell estigué situat en la zona de la coma d’Olient, molt a prop de la torre de Perauba.