Aquest castell s’alçava al costat de l’ermita de la Mare de Déu del Castell, al cim del rocam que domina el poble.
El topònim Rivert és conegut des de l’any 923. és parla ja en aquesta data dels homes de Rivert. A la darreria del segle X Rivert constituïa un territori diferenciat dels veïns termes dels castells de Toralla i Salàs; els alous que és debatien entre els homes de Salàs i el monestir de Sant Genís de Bellera en un judici comtal tingut lloc l’any 995 es trobaven “in apenditio de castro Toralia et in apenditio de Reverte et in apenditio de Salasse, in loco que dicitur Cencui et in rio de Reberte”.
L’any 1055 el comte Ramon V de Pallars Jussà establí una convinença amb Arnau Mir de Tost sobre diversos castells del Pallars Jussà: si la propera diada de Santa Maria d’agost el comte Ramon tornava el castell de Salàs al comte Artau, Arnau tindria la meitat de l’alou del castell d’Areny, però si abans de Santa Maria el comte Ramon donava el castell de Rivert o una compensació equivalent a Arnau, aquest l’hauria de prendre i deixar el d’Areny, que continuaria posseint en les mateixes condicions com fins aleshores. Dos anys més tard, el 1057, el comte Artau I de Pallars Sobirà, en la seva carta d’esposalles, dotà la seva muller Llúcia amb sis castells, entre els quals el de Rivert. L’any 1064 Artau I i Llúcia commutaren, entre altres, el castell de Rivert al seu cosí Ramon V i la seva muller Valença per tot un seguit de viles i castells situats al Pallars Sobirà. D’aquest període [1061-1108] conservem una altra convinença no datada per la qual Girbert i Udalard, fills de Bernat Arnau, posaren el castell de Rivert i l’alou d’Estac en la defensa i batllia del comte Ramon V. L’any 1079 el comte Ramon definí el castell de Rivert, entre d’altres situats al Pallars Jussà, al seu cosí Artau I. Sembla que després de la darrera convinença entre ambdós comtes, tinguda lloc l’any 1094, el castell de Rivert quedà definitivament en possessió d’Artau I.
Com els seus veïns de Toralla i Torallola, el castell de Rivert degué passar aviat (segles XI-XII) a ésser un domini dels Toralla, tot i que, ara per ara, mancats de recerques, no posseïm referències documentals posteriors a les convinences del segle XI.
Per enllaç matrimonial Rivert passà l’any 1645 dels Toralla als marquesos de Sentmenat i de Gironella, els quals encara n’eren titulars l’any 1831.