La manca de referències documentals als castells de la Vall de Cardos per als segles XI-XIII pot ser un indici d’una implantació tardana del feudalisme que estaria en correlació amb la resistència que hi oposaren les comunitats vilatanes. Cal recordar que al començament del segle XII la comunitat d’homes lliures de Cardós, aliats amb el bisbe de la Seu, encara era prou poderosa per a enderrocar el castell de Tírvia i impedir que es tornés a construir.
El castell de Ribera no és documentat fins el 1281 que, després de la derrota de Balaguer, el comte Arnau Roger de Pallars hagué de lliurar al veguer reial el domini directe de Ta Vall de Cardós amb el castell de Ribera, la vila de Surri, la vila de Cassibrós i altres possessions.
La intenció del comte de Pallars d’apoderar-se de les rendes de la Vall de Cardós, Espot i altres, que la comtessa Blanca de Foix posseïa en dot, fou el germen de la guerra que l’enfrontà a la reina Maria, aliada amb els Foix. Entre el 1436 i el 1439 hi hagueren saqueigs d’esglésies, pillatges de bestiar, tales de collites, setges i destruccions de castells. L’any 1438 el comte del Pallars adreçà una carta a la reina Maria en la qual reconeixia que la Vall de Cardós “és desmurada e totes les forces de aquella enderrocades”. No sabem en quina mesura això afectà el castell de Ribera.
El domini directe de la vall passà l’any 1491 als Cardona i per enllaç matrimonial als ducs de Medinaceli a la darreria del segle XVII.
Les restes del castell de Ribera es troben a la part alta de la població, sobre un puig o penyal envoltat d’edificacions tardanes.