De l’antic castell senyorial encara en resta algun vestigi molt arruïnat en el llogaret de Vall-llebrera, davant l’església. Fou una fortalesa inclosa dins la jurisdicció del castell de Montmagastre i per aquesta raó Vall-llebrera formà part de la baronia de Montmagastre. L’esment directe més antic de Vall-llebrera es troba en la dotació de Sant Miquel de Montmagastre del 1054. D’aquest indret en sorgí un llinatge de cavallers, els Vall-llebrera, que estigueren presents a la conquesta de Lleida. D’un dels seus membres, n’hi ha notícia l’any 1106, en què un tal Berenguer Bernat de Vall-llebrera reclamà l’església de Sant Sadurní de Vall-llebrera davant un tribunal presidit per Gombau Bernat, senyor de Montmagastre. Una menció explícita d’aquest castell data dels anys 1152 o 1153, en el testament de Bernat d’Alentorn, segons el qual aquest llegava al seu fill Bertran la fortalesa de Vall-llebrera. Ja al segle XVI, entre els anys 1537 i 1570, la quadra de Vall-llebrera era del monestir de Santa Maria de Montserrat, el qual, en aquest darrer any esmentat, la permutà, juntament amb altres propietats, a Miquel de Villalba, en canvi d’altres béns situats al Vallès.