Els castells de Colomers i Serret i la vila de Romadriu foren separades dels dominis vescomtals l’any 1034 per Isarn i la seva muller Quíxol per dotar llur filla Ermengarda, muller d’Arnau Dacó. L’any 1060 Arnau Dacó llegà el patrimoni als seus fills Ramon, Tedball i Guillem. Aquest darrer, que havia esdevingut ardiaca de l’església d’Urgell i posteriorment bisbe electe, féu donació els anys 1087 i 1093 dels castells de Romadriu, Castellarnau, Colomers i Serret, entre d’altres, a Santa Maria de la Seu i a la seva canònica.
La seva mort obrí una etapa de relacions conflictives entre els seus germans i nebots, que esdevingueren feudataris pels esmentats castells, i el bisbe i el capítol d’Urgell. Una fita d’aquesta nova etapa és la sentència pronunciada pel bisbe Pere d’Urgell l’any 1133, per la qual Tedball de Castellarnau i el seu fill Montaner, en haver-se declarat insolvents per a pàgar els danys que infringiren a un tal Guerau i als homes dels castells de Romadriu i Colomers, foren condemnats a la privació d’administrar-hi justícia sense la presència del senyor o del seu representant, i a rebre només la meitat del benefici dels plets judicats per ells.
L’any 1519 l’àmbit de la Ribalera, amb els seus quatre llocs de Castellarnau, Romadriu, Colomers i Serret, estava despoblat i fou cedit en empriu pel vescomte de Castellbò als homes dels llocs de Tírvia, Burg i Farrera.