El 1378 passà a Dalmau de Banyuls, senyor de Banyuls dels Aspres, per herència del seu nebot Ramon Sarroca. El 1653 fou confiscada al seu net sisè Tomàs de Banyuls i d’Orís (mort el 1657), senyor de Montferrer, i fou donada a Josep de Margarit, marquès d’Aguilar; però després de la guerra fou retornada al seu fill legitimat Carles de Banyuls i Comte, al qual Lluís XIV la tornà a confiscar, el 1674. El 1694 fou concedida al germà de Carles, Francesc de Banyuls i Comte (mort el 1695), segon marquès de Montferrer, els descendents del qual la tingueren fins a la Revolució Francesa.