Actualment no resta cap vestigi del castell de Pacs i és molt difícil poder esbrinar el lloc on era situat, ja que no s’ha trobat cap indici fidedigne que ens pugui assegurar el seu emplaçament.
Pacs apareix en la documentació per primera vegada l’any 990, data en la qual s’esmenta la via que condueix a Pacs, dintre el terme d’Olèrdola. Al principi del segle XI el domini del castell era de Gombau de Besora, pare de Guisla de Santmartí i gran magnat de la cort comtal. Aquest personatge signà com a Gombau de Pacs el 1020 en la resolució d’un judici celebrat a Olèrdola. En morir, la seva filla Guisla de Besora, muller de Mir Geribert, heretà el castell de Pacs i, cap al 1080, deixà en testament al seu fill Ramon Mir importants béns dins el terme de Pacs.
Un dels veïns del castell de Pacs era la comanda hospitalera de Sant Valentí de Cabanyes. Per aquest motiu, els senyors de Pacs feren nombroses donacions als hospitalers. Així, l’any 1177 i el 1184 Berenguer de Pacs i la seva muller feren llegats quantiosos, en part a causa de l’ingrés d’un dels seus fills a l’orde.
Desconeixem quins foren els senyors de Pacs fins a mitjan segle XIV, concretament fins al fogatge del 1359 en què apareix esmentat Ramon de Barberà. Tanmateix l’alta jurisdicció del lloc pertanyia al rei i així es mantingué fins al segle XIX.