El 355, la baronia passà a la casa ducal de Gandia pel matrimoni de Violant d’Arenós amb Alfons d’Aragó, primer duc de Gandia; el 1464 fou confiscada a llur net Jaume, contrari a Joan II de Catalunya-Aragó. La baronia restà inclosa en el ducat de Vilafermosa concedit pel mateix rei al seu fill Alfons.