La notícia més reculada del lloc de Serradui és de vers l’any 958, en què l’abat Quint concedí al monestir de Lavaix unes vinyes que tenia per compra a Serradui. L’any 1086 és documentat ja el territorio i poc després el chastro Safarrue (1093). Tal vegada la senyoria de Serradui fóra una de les tinences més antigues, perquè ja a la segona meitat del segle XI apareix força fragmentada. Un instrument del 1070 reporta una convinença entre els homes de Serradui i els homes de Sant Esteve del Mall feta en presència dels senyors Sango Garcés, Sango i Ximeno Fortunyons, Guillem Servideu, Sango Sanç i el seu fill Pere Sanç. Aquí hi havia presents almenys tres branques d’una mateixa família provinents d’un avantpassat comú, un Sanç de Biasques. La primera seria continuada pels Sanç de Graus, la segona provenia de Fortuny Sanç de Santaliestra i seria matriu dels Estada, i la tercera corresponia als senyors de Lierp que emparentaren amb els anteriors mitjançant el matrimoni d’Ermessenda amb Arnau Garcés de Serradui. D’alguna manera aquesta darrera, continuada pels Benavent, amb tota mena de pactes i d’enllaços familiars aconseguí vincular la senyoria de Serradui al llinatge. El primogènit, Ramon Guillem, compareix també el 1070 i deixà a Roda una heretat abans del 1099. Un nou acord, semblant a l’esmentat, consigna com a senyors del poble a Berenguer Gombau i el seu germà Gombau, Pere Guillem de Lasquarri i Miró Guillem de Serradui. La línia principal prosseguí a través de l’esmentat Gombau [II de Benavent], titulat senyor de Serradui entre el 1134 i el 1137, mentre que el matrimoni de la seva germana Sança amb Pere Mir d’Entença féu que també el seu nebot, Gombau d’Entença, fos en aquest temps senyor de Serradui. El 1182 consta en poder de Guillem Ramon de Serradui. Segons un diploma del 1219 el domini jurisdiccional era llavors compartit entre Vidià d’Espills, per raó del seu matrimoni amb Agnès, filla de Marc de Benavent, i Ramon de Casserres i la seva dona Sança, com a hereus de Guillem de Sas. Amb motiu de les revoltes nobiliàries del segle XIII, Bernat de Mauleon va perdre el feu de Serradui (1283), cosa que va restituir Jaume II a Guerau de Mauleon (1290), bé que poc després aquest mateix rei es va veure obligat a reconèixer que el castell de Serradui pertanyia a Gombau V de Benavent (1291). A partir del segle XIV, però, Serradui formà part del tercer comtat de Ribagorça.