La construcció de la part més antiga ha estat atribuïda al s XI. Consta de tres recintes: l’antic, que mira al S i comprèn l’alcàsser o alcassaba, un pati emmurallat amb torres, que mira al NE, i una línia exterior de defensa, de construcció més moderna. D’origen islàmic, es reté a Jaume I en la quaresma del 1238. El 1247 seguí la insurrecció d’al-Azraq i es tornà a retre al Conqueridor a l’agost del 1250. Posteriorment pertangué a la corona. Entre els seus alcaids figura el poeta Jordi de Sant Jordi. El 1436 fou donat amb tot el seu terme a l’infant Enric d’Aragó, els successors del qual el posseïren com a ducs de Sogorb.