Queden restes de l’edifici, on hi havia la capella de Santa Llúcia, primitiva parròquia de la vila. El nom fermosa és la romanització de la forma aràbiga malefa.
L’indret on fou bastit el castell i la vila domina la vall del riu de Vilamalefa, afluent, per la dreta, del Millars, que neix a Aragó, a la serra de Gúdar, i que, després de passar per Linares de Mora (el riu s’anomena en aquest sector riu de Linares) i Castelvispal, entra al País Valencià 6 km abans de Vilafermosa. A Cedraman hom ha previst la construcció d’un pantà. El riu, sempre molt encaixat i seguint la direcció general NW-SE, passa encara per Lludient i Argeleta (la part més baixa del riu rep també el nom de riu d’Argeleta) i s’uneix al seu col·lector prop de Vallat.