El poble de lo Vivièr és situat a 12,5 km al SW de Sant Pau de Fenolhet. El castell de Lo Vivièr fou el bressol del llinatge dels Viver, que tingué un paper destacat tant a la Fenolleda com al Rosselló i el Vallespir. Alhora fou l’origen del poble de lo Vivièr. El 1141 n’era senyor Guillem del Viver. Els seus descendents conservaren la senyoria fins a la Revolució Francesa. El 1432 Pere del Viver heretà la senyoria de Calce (Rosselló) i fou l’iniciador d’una branca que detingué, de la fi del segle XVI a la fi del segle XVII, les senyories de Morellàs i de Sant Martí de Fonollar (Vallespir). L’any 1603 n’era senyor Joan del Viver, fill d’Enric Montserrat del Viver, senyor de Lo Vivièr, Rasiguèras i Montfort (Fenolleda), i el 1662, Alexandre del Viver, senyor de Talteüll i Vingrau (Rosselló). Enric del Viver, fill de Guillem, baró de lo Vivièr, senyor de Rasiguèras i governador del castell de Puèg-laurènç, que heretà el 1664 les senyories de Talteüll i de Vingrau, provocà escàndols per una conducta dissoluta, la qual li valgué l’excomunicació llançada pel bisbe d’Alet, Nicolau Pavilhon. Morí el 1697. El seu germà Alexandre del Viver era senyor el 1674 de Montfort (Fenolleda), de les Cluses (Vallespir) i d’Ortafà (Rosselló). Alexandre del Viver-Lançac, fill d’Enric, heretà els feus paterns (1697) i els del seu oncle Alexandre (1714), i els seus descendents els conservaren fins a la Revolució Francesa.
L’antic castell medieval, al cim d’un turó als vessants del qual es formà el poble actual, va ser restaurat al segle XVII. Actualment, és en ruïnes.