El terme de Sant Martí apareix esmentat per primera vegada l’any 984. Possiblement Galí, l’iniciador del llinatge de la poderosa família que es cognomenà Santmartí, fou qui construí una torre dalt del turó, lloc enlairat i d’indiscutibles defenses naturals per dos dels seus quatre punts cardinals.
El seu fill Guillem, veguer de Santmartí, fou l’iniciador del castell al final del segle X i al principi de l’XI, probablement després de la falconada d’Almansor del 985. Al segle XI la vídua de Guillem, Adelaida, i el seu gendre, Mir Geribert continuaren les obres del castell edificant noves estances i convertint el conjunt en una fortalesa ben protegida. Aquestes obres degueren ser millorades per Arnau de Santmartí al final del segle XI. Tot i així, es creu que fou després de l’atac per sorpresa dels almoràvits del 1108 que es va plantejar fer una fortificació amb amples i altes muralles que resultés gairebé inexpugnable.
En extingir-se el llinatge dels Santmartí al final del segle XIII, el terme fou traspassat als seus successors. Al segle XIV, quan passà a la família comtal per vincles familiars, s’hi feren diverses reformes: es convertí el castell en un palau fortificat i es repararen les muralles. Després passà a mans dels Cervelló, que van acabar venent-lo a la Pia Almoina el 1481. A partir d’aquest moment s’hi feren moltes reformes que modificaren en part la seva forma original, les quals encara són visibles en moltes estances. La ruïna del castell s’inicià durant la primera guerra Carlina, període en què els edificis que formaven part de la fortalesa foren incendiats. En quedar abandonat, començà un procés d’espoliació molt fort i l’edifici quedà convertit en un munt de runes.
El 1963 es creà una comissió, la qual decidí iniciar les obres de neteja i desenrunament de les estances que restaven de l’antic castell i en començà la restauració. Va dirigir les obres l’arquitecte de la Diputació de Barcelona; aquest, en un excés de fantasia i sense cap rigor científic, convertí l’ala nord en una obra estilística sense cap fonament històric i arquitectònic. Sortosament, la Sala de Ponent, tot i les arbitrarietats observades, és una obra més fidel. Respecte a la nau que dóna a les Valls, començada a restaurar el 1988, se segueix un criteri més racional. A causa de l’estat actual d’aquest castell, fruit de les transformacions i ampliacions que sofrí en època medieval i moderna, i també de les destruccions i restauracions modernes i actuals, és molt difícil de determinar els elements que poden ésser considerats d’època romànica. Segurament algunes de les parets actuals foren construïdes abans del segle XIII, tanmateix la major part de les sales i de les torres, amb un talús molt marcat, sembla que no poden ésser considerades d’abans d’aquest segle. Fins i tot, l’organització del conjunt de les naus correspon més a la d’un castell palau dels darrers segles medievals que no pas a la d’un castell torre o a la d’un castell sala de l’època romànica.