Vall-de-roures fou conquerida per primera vegada el 1132 per part d’Alfons I d’Aragó, el Bataller. Pels volts del 1157 el comte de Barcelona Ramon Berenguer IV conquerí definitivament la vila. El castell de Vall-de-roures era d’origen musulmà i fou refet per ordre d’Alfons I el Cast. El 1175 aquest mateix comte rei va concedir al bisbe de Saragossa i a l’església catedral de Sant Salvador de la mateixa ciutat la Pena d’Asnarlagaia, que comprenia Vall-de-roures. A partir d’aquest moment el bisbe de Saragossa esdevingué senyor de la vila, en feu del rei. El castell actual, situat a la part alta de la vila, és degut principalment a l’arquebisbe García Fernández de Heredia, el qual, vers el 1385, manà la construcció del mur que cenyia la fortalesa. El prelat barceloní Francesc Climent, successor d’Heredia a la seu de Saragossa, continuà les obres.
El castell és un edifici de planta irregular, ocupa una superfície d’uns 1 300 m2 i té al mig un gran pati d’armes. Pertany al gènere dels castells palau gòtics, dotats de grans finestrals i bastits amb finalitat principalment residencial. A la porta, situada en un extrem de la façana sud, i a les finestres de la primera planta figuren els escuts d’armes de l’arquebisbe Heredia. Cal fer esment de la sala de corts, al primer pis, amb tres grans finestrals triforats oberts a la façana principal i tres notables escalfapanxes. En aquesta dependència se celebrà la cort convocada el 20 d’octubre de 1429 pel rei Alfons IV.