El lloc de Rallui és citat per primera vegada en una adquisició de la comtessa Toda de Ribagorça vers l’any 936. Rallui fou un indret relativament important perquè defensava el flanc dret de la vall de l’Isàvena i es trobava a mig camí entre Ovarra, centre religiós, i Tor-la-ribera, centre polític de la contrada. Com a conseqüència d’una incursió dels “pagans”, el vilatge de Rallui quedà destruït i els seus habitants fugiren en totes direccions, fins i tot a terres musulmanes. Llavors els comtes Sunyer i Toda de Ribagorça vengueren a l’abat Galí d’Ovarra i a Ricolf Oriolf el feu i la vil·la de Rallui per un cavall ros balzà i 25 mancusos d’or. Aquests nous senyors es preocuparen de repoblar i d’organitzar el territori erm. El 1007 van fer consagrar de nou l’església de Sant Climent de Rallui i la van dotar. Tanmateix, sembla que la legalitat d’aquestes actuacions va ser qüestionada per les reclamacions dels antics senyors, la qual cosa explica la ràpida vinculació de Rallui al monestir d’Ovarra (1007, 1009). Tot i això, amb l’arribada del nou comte Guillem Isarn, Asner de Rallui i els seus fills recuperaren llurs drets i esdevingueren garants del nou ordre pro-navarrès. Amb la implantació de la dinastia pamplonesa, l’empenta d’aquest llinatge anà en augment. El 1017 Asner de Rallui figura entre els principals prohoms ribagorçans que elegiren el bisbe Borrell, i el 1023 és consignat ja com a senyor de Lierp. Malgrat aquest primerenc protagonisme polític, després les fonts obliden Rallui.
A la fi de l’edat mitjana Rallui consta annexat a la senyoria de Pardinella, que a l’edat moderna passà als Gallart. Actualment, damunt de Rallui i a la crestallera de la serra, on hi hagué l’antic castell, només es poden apreciar les ruïnes de l’ermita dedicada a sant Marçal.