El castell d’Altafulla és situat a la part més alta de la vila, just al costat de l’església parroquial de Sant Martí. Segons assenyala un estudi recent d’A.Virgili, la manca de prospeccions arqueològiques sobre la gran quantitat d’assentaments considerats vil·les romanes —a excepció dels Munts—, no permet tenir coneixement del poblament de la zona d’Altafulla, ni de l’origen, ni si hi hagué continuïtat o s’interrompé. Tanmateix, sembla que l’Altafulla d’època feudal tindria el seu origen en la concessió d’una quadra dins els termes del castrum de Tamarit, i en dates molt properes a l’establiment de la quadra de Ciará l’any 1057. A partir d’aleshores i durant tot el segle XII es portà endavant la colonització del terme. Així, una de les primeres mencions documentals del castell d’Altafulla data del 13 de gener de l’any 1060, on figura esmentat com a afrontado territorial en la donació que els comtes de Barcelona, Ramon Berenguer I i Almodis, feren a Bernat Amat de Claramunt i a la seva muller Arsenda del puig d’Ullastrell en propi alou; segons l’escriptura, l’esmentat puig limitava “a parte orientis in termino de castro Altafolia”. Pocs anys després, el terme d’Altafulla és esmentat com a límit ponentí en les afrontacions territorials del puig anomenat Puigperdiguers (més endavant dit Montornès), el qual fou cedit el 1066 pels mateixos comtes de Barcelona a Ramon Transunyer i a la seva muller Rotlenda. Cal afegir que moltes altres escriptures referents al puig de Puigperdiguers o Montornès, datades els anys 1173, 1174 i 1179, citen el terme d’Altafuya, Alta Folia o Altafoia com a afrontació territorial. D’acord amb els documents, es pot afirmar, doncs, que fou entre la segona meitat del segle XI i sobretot durant el segle XII que tingué lloc la colonització del terme, moment en què també apareixen escripturats antropònims amb el locatiu d’Altafulla.
Durant el segle XIII hi ha un gran silenci documental respecte al castell i terme d’Altafulla, i no serà fins al segle XIV que trobem noves dades. Segons indica E. Morera, al començament del regnat de Jaume II de Catalunya-Aragó, la vila i el castell d’Altafulla formaven part dels extensos dominis de la baronia d’Entença, fins que l’esmentat monarca, després d’haver-la incorporat a la corona, va formar amb ella, el 6 d’abril de 1324, el comtat de Prades. Aquesta notícia donada per E. Morera i seguida per molts altres autors, s’ha de considerar errònia, ja que no es tracta del castell d’Altafulla sinó del d’Altafalla, situat en una muntanya a l’est de Falset; aquest castell, efectivament, fou donat per Guillem d’Entença l’any 1313 al rei Jaume II.
En realitat, a la catorzena centúria Altafulla fou alienada per la corona a la família Requesens. El 1337 consta com a senyor d’Altafulla, ensems que de la Nou de Gaià, un Berenguer de Requesens —el mateix que apareix inscrit en el fogatjament del 1358 i en d’altres de posteriors—, que fou succeït per Lluís de Requesens.
El llinatge dels Requesens, en ple apogeu al segle XV, continuà com a posseïdor d’Altafulla. Lluís de Requesens i de Cardona, fill de Bernat de Requesens i de Caterina de Cardona, pledejà amb la seva germana, Mateua de Requesens, per l’herència del lloc d’Altafulla i d’unes altres possessions; fallat el plet a favor d’ell, el 1472 vengué l’indret d’Altafulla, conjuntament amb la Nou, al seu cosí Pere de Castellet i de Requesens. Entrat el segle XVII, l’enllaç matrimonial de Violant de Castellet amb Lluís de Corbera-Santcliment féu que aquest fos el nou llinatge que detingué la senyoria de la baronia d’Altafulla, a més de la Nou de Gaià, inclòs dins el terme. Un cop finat Lluís de Corbera l’any 1637, fou succeït per Josep de Corbera-Santcliment, el qual, entre el 1669 ¡ el 1673, vengué el senyoriu d’Altafulla i la Nou a Francesc de Montserrat i Vives, castlà de Montbrió, baró de Ribelles i senyor del Morell, Tamarit i Botarell. Poc després, el 1681, el rei Carles II concedí a l’esmentat Francesc de Montserrat el títol de marquès de Tamarit, els descendents del qual foren senyors d’Altafulla fins a l’extinció de les senyories.
El castell d’Altafulla és un gran edifici de planta poligonal irregular amb cossos sobresortints a les cantonades a manera de torres coronades per merlets, i diferents elements arquitectònics que li donen un aspecte de fortalesa. Al centre disposa d’un pati interior, intocat, la part alta del qual té una magnífica galeria renaixentista. En el seu estat actual, és difícil entreveure si conserva elements arquitectònics d’època romànica, ja que la fàbrica ha sofert nombroses modificacions al llarg del temps, sobretot al segle XVII, moment en què es renovà la major part de la seva estructura.