Situat dintre el terme del Codony, el castell de Perafort va iniciar la seva història amb la colonització d’aquestes terres; les seves minses restes són situades dins un bosquet de pins, al costat d’una urbanització que hi ha als afores del poble.
La presència de la família Plegamans durant el segle XIII com a senyora del castell no està verificada, i, per tant, la primera notícia documental cal situar-la el 1310. Es tracta del jurament d’homenatge fet per Saurina de Castellvell pels seus castells dels Garidells i de Perafort al nou arquebisbe tarragoní. Guillem de Rocabertí.
Cal apuntar el fet que el castell de Perafort formava part de la venda que feu el rei Joan I a l’arquebisbe tarragoní Ènnec de Vallterra el 1391. Uns quants anys abans, però, també a la darreria d’aquest segle, el 1378, Perafort va pertànyer a Ponç de Jorba, i, al començament del segle XV, el 1402, el castell era d’Arnau Verdú. Tanmateix, i per bé que temporalment, un nou llinatge, els Ribes, havia estat senyor del castell de Perafort durant el segle XIV. D’aquesta manera, trobem Ramon de Ribes, senyor de Perafort, formant part l’any 1363 de les tropes del rei Pere III en la guerra contra Castella. Tanmateix, a l’inici del segle XV, els Ribes retenien la senyoria amb continuïtat. Així, el 1411, Arnau de Ribes era senyor de Perafort, Penallonga i castlà del Codony. Aquesta darrera seria una possessió més directa de la mitra tarragonina, mentre que els dos primers caldria considerar-los com a senyorius privats.
L’any 1430 Elisabet, vídua d’Arnau Ribes, donà el castell de Perafort a la seva filla Elisabet, maridada amb Bernat Pelegrí. El 1436, sota el domini d’aquest darrer, ordenà de fer-ne una estima, resultant del Codony i Penallonga 20 000 sous, i de Perafort 12 000 sous.
Durant la guerra civil de la Generalitat contra Joan II, el 1467, Elisabet, ja vídua de Bernat Pelegrí, donà els tres llocs del Codony, Perafort i Penallonga al capítol catedralici de Tarragona, reservant-se, però, l’usdefruit en vitalici. El capítol governaria aquests llocs fins a l’inici del segle XIX. (AMaM)
Les escasses estructures que resten d’aquest castell no permeten donar-ne una filiació cronològica segura. Hom hi veu part d’una construcció amb espitlleres i les restes d’un pou. Segons E. Liaño, aquestes estructures i construccions corresponen a un edifici no anterior al segle XVI, i consegüentment, com diu aquesta autora, no hi ha evidències clares d’estructures d’època medieval.