Tot i que Vilaller era sens dubte el poble més important de la vall de Barravés, no se n’ha trobat cap notícia de l’època romànica. D’alguna manera estigué vinculat al proper monestir de Sant Andreu de Barravés i a la senyoria dels Erill a la vall. En bona lògica, devia ser el lloc on se celebrava el mercat de Barravés, documentat ja el 1117, activitat que es desenvolupà amb la vinculació de l’Aran a la corona catalano-aragonesa i la transhumància dels ramats.
Segons els greuges presentats al rei pels aranesos l’any 1312, el capellà de Miró de Salardú va ésser fet captiu per Ramon de Sarroca i Ramon de Taüll i portat al castello de Vilaller. Es tracta de la primera referència que hi ha del castell. Com a conseqüència de les permutes acordades entre la canònica de Roda i el bisbe de Lleida, la vall de Barraves, amb Vilaller, passà a la mitra de Lleida al principi del segle XIV. Consta Vilaller, amb 11 focs, de domini eclesiàstic als fogatjaments del regnat de Pere el Cerimoniós; els Erill, com a feudataris, hi tenien algun dret jurisdiccional, com el de cena.
Actualment damunt l’esperó rocós on hi havia hagut el castell no hi resta cap vestigi remarcable. Al seu redós s’amuntega l’antiga vila closa de Vilaller formant un dèdal de petits carrers amb arcades i passadissos.