Només resten algunes filades de murs de bons carreus arrapades a la roca. Una bona part de la pedra dels murs va servir per a reedificar l’església i la rectoria cap al 1830. El castell formava un conjunt amb la primitiva parròquia de Sant Andreu i unes poques cases que es van despoblar a partir del segle XIV.
Aquest castell fou propietat de la família Cervera, que tenia al lloc uns castlans o cavallers cognomenats Aguilar, els quals tenien per missió la defensa i la tutela immediata del lloc. El domini dels Cervera és documentat des del 1128 fins a la fi del segle XIV. Posteriorment se'n possessionà el paborde de la canònica de Santa Maria de Manresa, que el 1381 va comprar, per 500 florins, la jurisdicció del terme al rei Pere III. El domini corresponia a la mensa canonical manresana, que havia bestret el diner de la compra, però aquesta, el 1385, el cedí per a dotació exclusiva del seu paborde. Continuà en poder de l’Església de Manresa fins a l’extinció dels dominis jurisdiccionals.