El palau, de rajoles i d’estil antic, serví de primer per a exposar les col·leccions del marquès de Villeneuve-Bargement —prefecte del departament—, el 1820. Més tard l’artista P.F.Capdebós, el veritable fundador, l’obrí al públic (1833) amb les seves col·leccions, comprades posteriorment per la vila, la qual ha anat fent adquisicions. El 1842 dues ales del museu eren dedicades a la història natural —secció posteriorment traslladada a un edifici proper—. Martí Vives modernitzà el museu (1955-57), que conté obres de Jacint Rigau (El Crist expirant, 1696; El cardenal de Bouillon obrint la porta santa, 1708; autoretrats, 1700 i 1730; Retrat del duc de Chartres; etc), d’Ingres (Retrat del duc d’Orleans), de Duplessis, de Gabriel de Saint-Aubin, de Géricault, del Tintoretto, de Guido Reni, etc, i que té sales dedicades als primitius catalans, provençals i castellans.