Segons F. Carreras i Candi aquest castell hauria estat construït l’any 798. Malgrat això, les primeres notícies documentals de Tous són del segle X i s’insereixen dins del fenomen repoblador de la vall de l’Anoia. El 960 el comte de Barcelona i Osona, Borrell II, donà a la seu de Vic el castell anomenat de Tous, el qual li havia pervingut per l’aprisió dels seus pares. Aquesta fortalesa estava inclosa dins el terme més ampli de Montbui, al comtat de Manresa. De tota manera, ben aviat es produí la separació entre el castell de Tous i la demarcació de Montbui.
Així doncs, al llarg del segle XI la propietat de Tous restava dins el domini superior de la seu de Vic. El 1015 el bisbe de Vic, Borrell (1010-1017) encarregà la construcció d’una fortalesa a Ató en un lloc anomenat la Coma de Riquer dins del terme de Tous. Pocs anys després, en temps del bisbe Oliba (1017-1046), aquest cedí la fortalesa de Tous, juntament amb les de Montbui i Ocelló, a Guillem d’Oló, altrament dit de Mediona, el qual l’encomanà a un castlà anomenat Bernat de Tous. Malgrat això, al llarg del segle XI hi hagueren diversos plets sobre els límits jurisdiccionals d’aquest castell. El 1018 es promulgà una sentència per la qual s’hagué d’establir quina era l’extensió del terme de Tous i quina era la del terme de la Roqueta que senyorejava Hug de Cervelló, oncle de Bernat Sendred de Gurb-Queralt. El 1027 hi hagué de nou un intent d’usurpació per part d’aquest darrer d’un sector de l’esmentada demarcació de Tous, al·legant que pertanyia al terme de la Roqueta, la qual cosa promogué un altre litigi que acabà amb un dictamen a favor del bisbe de Vic, Oliba (1017-1046).
El 1032 Guillem Oló o de Mediona feu testament abans de la seva anada a lluitar contra els moros. En aquest document encomanà Tous a Ramon, fill de Bernat de Tous. Ramon fou succeït pel seu fill, Pere Ramon de Tous, el qual apareix documentat entre els anys 1079 i 1095. Justament l’any 1079, el bisbe de Vic, Berenguer Sunifred de Lluçà (1046-1076), infeudà Tous a Guerau Alamany, senyor del castell de la Roqueta, i encomanà l’esmentat castell a Pere Ramon de Tous, el qual passà a tenir aquesta fortalesa com a feudatari de l’esmentat Guerau. de tota manera, segons A. Pladevall, l’actuació de Guerau Alamany de Cervelló com a castlà major de Tous fou poc eficaç, atès que el 1095 Pere Ramon de Tous ja exercia com a senyor directe de tota la demarcació.
A l’inici del segle XII, Pere de Tous, fill d’Ermengarda i versemblantment de Pere Ramon de Tous, feu jurament de fidelitat al bisbe de Vic, Ramon Gaufred (1109-1146). Pere fou succeït per Arnau Pere, el qual mantingué un plet el 1174 amb l’esmentat prelat arran dels drets d’alberga que els senyors i els habitants de Tous li devien. Arnau de Tous, casat amb Arsenda, tingué dos fills: Pere i Ramon. El primer morí sobtadament, amb la qual cosa la castlania de Tous passà al seu germà Ramon, vers l’any 1172. Aquest Ramon feu un acte de concòrdia amb el bisbe de Vic, Ramon de Xetmar (1185-1194), l’any 1188, sobre el feu del castell de Tous. En testar aquest darrer deixà l’esmentat castell al seu fill Bernat.
La continuïtat dels Tous com a castlans d’aquesta fortalesa és palesa tot al llarg del segle XIII. El 1200 Bernat, fill de Ramon, va retre homenatge de fidelitat al bisbe de Vic pel castell de Tous. El 1246 ho farà Pere, fill de l’anterior, i el 1275 el seu successor Bernat confirmarà aquest acte.
Amb tot, el predomini de la seu vigatana s’interromprà el 1318, en cedir el bisbe de Vic el castell de Tous al rei Jaume II, juntament amb els de la Cucalla, Montbui i Ocelló. Malgrat tot, els Tous mantindran el seu domini sobre aquesta possessió i el 1347 Bernat de Tous compra la plena jurisdicció sobre Tous per la quantitat de 12 000 sous. Pocs anys després, el 1386, els seus successors l’empenyoraran al príncep Joan I.
La supremacia dels Tous acabà el 1423, data en què aquests vengueren l’esmentat castell a Ponç de Perellós. Els Perellós gaudiren poc d’aquesta propietat atès que el 1441 fou venuda als Saplana. Isabel Saplana el 1505 decidí de donar aquest castell de Tous al monestir badaloní de Sant Jeroni de la Murtra, el qual en tingué el domini fins el 1835, moment de les desamortitzacions. El mateix any fou comprat per Marçal Grau, qui el traspassà a Ramon de Miquel i Recasens. Després de diverses vicissituds, els darrers propietaris foren la família Rojas, d’Igualada.
Actualment el castell de Sant Martí de Tous es presenta com un gran casal gòtic, molt restaurat, amb una torre emmerletada.