Aquest castell fou donat, ja abans de la conquesta, per Alfons I de Catalunya-Aragó als templers. El 1233 els templers el reclamaren a Jaume I, i el conqueriren després d’un llarg setge. El 1234 donaren carta de poblament al lloc de Xivert. La jurisdicció del castell s’estenia damunt els llocs d’Alcalà i de Xivert i de diverses alqueries (la Valldàngel i Alcossebre, entre d’altres). Xivert era un lloc de moriscs (52 focs el 1609) que després de l’expulsió, el 1616, fou repoblat amb 16 famílies cristianes, que l’abandonaren el 1632, i el lloc fou agregat a Alcalà de Xivert.