Romadriu, juntament amb Serret i Colomers, són probablement els únics castells del Pallars per als quals es pot construir una història contínua i coherent de la titularitat del domini eminent. Les viles de Riumadriz i els castells de Colomers i Serret foren donats l’any 1034 pel vescomte Isarn i la seva muller Quíxol a llur filla Ermengarda i al seu marit Arnau Dacó. En el seu testament sacramental publicat l’any 1050, Ermengarda llegà el castell de Rivo Madriz al seu marit, Arnau Dacó, i establí que a la mort d’aquest passés als seus fills. Deu anys més tard, i en compliment de les disposicions de la seva muller, Arnau Dacó llegà el castell de Romadriu amb la seva vila als seus fills Ramon, Tedball i Guillem. Aquest darrer, anomenat Guillem Arnau, ardiaca de l’església d’Urgell, degué heretar el conjunt dels feus perquè l’any 1087 feu donacio dels castells de Romadriu, Castellarnau Colomers i Serret, entre d’altres, a Santa Maria de la Seu i a la seva canònica, donació que confirmà en el seu testament tancat l’any 1093.
Mort Guillem Arnau, sembla que es desfermaren tensions entre el bisbe i el capítol d’Urgell, que detenien els castells en alou, i els germans i nebots del primer, que n’haurien esdevingut feudataris. Tedball de Castellarnau i el seu fill Montaner imprimiren diversos danys a un tal Guerau i als homes dels castells de Romadriu i Colomers pertanyents a l’església d’Urgell. En declarar-se insolvents per a satisfer la composició, una sentència pronunciada pel bisbe Pere i el capítol de la Seu l’any 1133 els condemnà a la privació d’administrar justícia als habitants dels castells sense la presència del senyor o del seu representant i a rebre només la meitat del benefici dels plets judicats per ells.
Després d’aquestes dates es perden les referències sobre el castell de Romadriu. L’any 1519 la Ribalera, amb els seus quatre llocs de Castellarnau, Romadriu, Colomers i Serret, estava despoblada, i fou cedida en empriu als homes dels llocs de Tírvia, Burg i Farrera per 6 lliures de quèstia.