Les primeres notícies que trobem documentades sobre el lloc de Vilalba són de l’any 932. El castell el senyorejà des del 1195 fins el 1571 una família cognominada Vilalba. Justament el 1571 permutaren el castell i el lloc de Vilalba amb altres propietats del monestir de Montserrat; aleshores passà a ésser residència o casa de salut dels monjos de Montserrat. El cenobi montserratí conservà la seva possessió fins el 1835, que arran de la desamortització l’adquirí Marià Borrell, el qual féu importants reformes, i transformà l’antiga fortificació —refeta pràcticament tota al segle XVII— en el casal que hom pot contemplar actualment. Amb tot, encara es conserven alguns vestigis romànics i gòtics.