És conegut també com a castell de Sant Martí. Fou el centre de la baronia de Centelles. És esmentat ja el 898. Una comunitat de preveres instal·lada a la seva església, dedicada a sant Esteve, esdevingué priorat canonical (Santa Maria de Centelles) a la fi al s. XIII, fundat pels senyors de Centelles; a partir de la fi al s. XIV anà decaient, fins a restar-ne solament el títol prioral. Les edificacions actuals corresponen en bona part al 1464, amb motiu de la projectada residència del rei-conestable Pere IV. El castell fou enderrocat per les forces de Felip V; l’església, romànica, amb un absis rectangular, és obra del principi al s. XIV; la imatge romànica, molt mutilada, de Santa Maria de Castell és venerada actualment a la parròquia de Sant Martí de Centelles.