És esmentat ja el 1041, i es conserven restes de l’església romànica de Sant Pere (s XI). Pertangué a la baronia de Castellvell; el 1514 era dels Llobets, i per successió passà als Despalau i als Amat, que esdevingueren marquesos de Castellbell. De Lima estant, Manuel Amat i de Junyent, virrei del Perú, féu construir al peu del castell la casa de Vilalba, al camí de Montserrat, que fou decorada amb pintures falsament atribuïdes a Flaugier, avui perdudes, descrites pel baró de Maldà al Calaix de sastre.