El castell de Serret és associat als veïns de Colomers i de Romadriu, donats l’any 1034 pel vescomte Isarn i la seva muller Quíxol a llur filla Ermengarda i al seu marit, Arnau Dacó. Aquest, l’any 1060, féu hereus del seu patrimoni els seus fills Ramon, Tedball i Guillem. Guillem Arnau, que havia esdevingut ardiaca de l’església d’Urgell i posteriorment bisbe electe, en féu donació els anys 1087 i 1093 a Santa Maria de la Seu i a la seva canònica. Els successors de la família esdevingueren feudataris del capítol d’Urgell pels esmentats castells, en els quals detingueren l’exercici de les funcions jurisdiccionals.
Com la resta de llocs de la Ribalera, caiguts en mans dels vescomtes de Castellbò, Serret es despoblà i l’any 1519 consta haver estat establert en empriu als habitants de Tírvia, Burg i Farrera.