Moltes de les pintures que l’adornaven foren traslladades modernament a la catedral i algunes de les estàtues del jardí (de Ponzanelli) adornaren posteriorment alguns indrets de la ciutat, com el Tritó (a la Glorieta) i les Quatre Estacions (als Vivers). El 1705, essent el canonge Pontons un ardent filipista, la casa fou segrestada i esdevingué dependència reial de Carles III i hi fou condicionada una famosa sala del tron, que es conservà, excepcionalment, fins al s. XX. Mort Pontons, Felip V n'esdevingué hereu, i després passà a particulars, que la convertiren en fàbrica de seda.