Aquesta fortalesa fou, a la segona meitat del segle X, el castell de la frontera o marca del comtat de Barcelona situat en una posició més avançada. La primera referència documental del castell és de l’any 980, en què el comte de Barcelona Borrell II feu donació a Ervigi, a la seva muller Almatruda i a llur fill Guifré, del castell de Cabra amb tot el seu terme, en lliure i franc alou. El castell de Cabra fou tal vegada destruït per la ràtzia d’Almansor, com sembla que es desprèn de documentació més tardana i la seva posició estratègica, tot i que no es pot descartar que ho hagués estat posteriorment (en època almoràvit, entre el 1107 i el 1118).
Al principi del segle XI el castell apareix en mans de la família Mediona. L’any 1011 Guifré de Mediona (potser el mateix esmentat el 980) i la seva muller Guisla feren donació del castell de Cabra al monestir de San Martino dell’lsola Gallinaria, a Albegna (Ligúria).
El 1160 el comte Ramon Berenguer IV va rebre de l’abat i els monjos d’aquest monestir les dues terceres parts del domini que ells posseïen sobre el castell de Cabra. De fet, el monestir de San Martino, per mitjà del seu priorat de Sant Pere de Riudebitlles, que havia estat fundat per Guifré de Mediona i la seva muller al segle XI, continuà tenint la tercera part del castell. El 1194 el rei Alfons I, amb el consentiment del prior Odó de Sant Pere de Riudebitlles, atorgà una carta de poblament als habitants de Cabra per la qual autoritzava els habitants de la vila a fixar la seva residència al coll de Cabra, i els prohibia que ho fessin en qualsevol altre lloc del terme. Sembla que aquest trasllat de població donà lloc al poble actual. La tercera part del terme de Cabra que encara era de San Martino fou comprada el 1248 per l’arquebisbe Pere d’Albalat.
Al llarg del segle XII surten documentats com a castlans d’aquesta fortalesa la família Clariana. El 1193, en testar, Berenguer de Clariana deixà la castlania de Cabra al seu fill, Berenguer.
A partir de l’establiment dels cistercencs de Santa Maria de Valldaura a Santes Creus, aquest cenobi anà adquirint importants drets dins el terme de Cabra. El 1179 Pere d’Alvern cedí a Santes Creus els delmes del mas d’Alverge, situat dins del terme de Cabra. El 1188 s’hagué d’establir una concòrdia entre els habitants de Cabra i el monestir sobre la pertinença de l’honor de Conill. Aquest plet es revifà el 1244 quan el poble acudí al rei per tal de resoldre d’una vegada la qüestió. Finalment s’arribà a una concòrdia per la qual s’hagueren de partir les jurisdiccions. El 1285 en el codicil al seu testament, el rei Pere II cedí al monestir de Santes Creus, juntament amb Sarral i Forès, el lloc i castell de Cabra. El 1286 el seu fill, Alfons II, envià als veïns de Cabra una carta per tal que retessin homenatge i jurament de fidelitat a l’esmentat cenobi. Aquesta donació, però, no fou plena i, de fet, el castell de Cabra continuà sota jurisdicció reial segons es constata durant el segle XIV. Això fou motiu de tibantors entre els reis i el monestir de Santes Creus.
El 1393 el rei Joan I vengué el castell a Ramon Alemany de Cervelló per 12 000 florins, encara que l’any 1448 els habitants es redimiren i tornaren a la jurisdicció reial. El 1450 obtingueren del rei un privilegi pel qual el monarca es comprometia a no tornar a alienar el terme. Amb tot, el 1653 el lloc i la vila de Cabra foren cedits per Felip IV a Francisco de Orozco-Rivera, que esdevindria marquès de Sarral. Més tard passà a Cristòfol de Potau i al seu fill Josep Faust de Potau, el qual el rei Carles III nomenà marquès de Vallcabra el 1707. El 1831 n’era la propietària M. José Alfonso-Pimentel, duquessa d’Arcos i de Benavente.
Hi ha la tradició que el castell, avui desaparegut, era a la part alta del poble de Cabra. Tanmateix, d’acord amb uns estudis fets darrerament, sembla que és possible que fos a la partida de Castelltallat, a la banda nord del congost que separa aquest poble del del Pla de Santa Maria, on s’han trobat restes de ceràmica.