Aquest castell es trobava on ara hi ha la casa de la vila de Sitges. Es mantingué en la seva forma romànica fins al segle XVI, data en la qual fou enderrocat i al seu lloc es construí un edifici d’estil gòtic tardà conservat fins al 1869. L’edifici fou enderrocat parcialment i el seu lloc fou cedit a l’Ajuntament, el qual hi construí la casa de la vila. El 1883 es descobrí la base d’una torre soterrada í darrerament s’hi ha trobat finestres gòtiques cegues; a la part baixa de l’edifici hi ha també arcades gòtiques.
El topònim Sitges s’esmenta per primera vegada els anys 987 i 992. El castell fou originàriament de domini episcopal. El 1041 Guislabert, bisbe de Barcelona, va fer donació del castell de Ribes a Mir Geribert. En aquesta cessió s’anomena expressament el castell de Sitges, amb el seu terme, i es fa constar que aquest passaria a Mir Geribert un cop el bisbe hagués mort. En el testament de Guisla de Santmartí, vídua de Mir Geribert, de l’any 1080 torna a documentar-se el castell de Sitges. Des del final del segle XI, els Ribes, una branca de la familia Santmartí, aconseguiren perpetuar-se en el castell, sempre reconeixent el domini eminent del bisbe de Barcelona. Així, el 1130, Oleguer, arquebisbe de Tarragona i bisbe de Barcelona, infeudà el castell de Sitges i el de Ribes a Arnau de Ribes. El 1142 Arnau de Ribes, per raó dels dos esmentats castells, jurà fidelitat al bisbe Arnau. Els Ribes tingueren drets al castell de Sitges fins al segle XIV.
Del castell de Sitges sorgí una familia de castlans cognomenada Sitges, coneguda des del segle XII. Els seus descendents adquiriren cada vegada més drets sobre el terme. L’any 1321 Berenguer de Fonollar, marit d’Agnès de Sitges, va obtenir tota jurisdicció sobre el terme per concessió reial. El 1353 el castell passà a la Pia Almoina de Barcelona, la qual en conservà la senyoria fins al segle XIX.