Les notícies que tenim documentades sobre el castell o casal de Vallverd són molt escasses. Al final del segle XII, consta en el testament, datat el 1190, de Bernat de Vallverd que aquest havia manat construir una capella sota l’advocació de sant Jaume dins de l’esmentada fortalesa. No sabem per quina raó, el 1205, aquest Bernat, juntament amb la seva esposa Berenguera, testaren de nou. Entre les deixes testamèntaries trobem una referència a la casa de Vallverd, que tenen en franc alou. Fan hereu d’aquesta possessió el seu fill Bernat.
D’aquest casal, actualment, en resten alguns vestigis de murs.