Els minsos vestigis del castell de Penallonga, conegut popularment com “el Castellot”, són situats en un turó proper a la carretera entre Perafort i els Pallaresos, a la partida del Comellar. D’aquesta fortalesa, inclosa en època medieval dins el territori del Codony-Montoliu, tan sols s’han localitzat notícies documentals tardanes. Una primera menció data de l’any 1391, quan consta que fou venut pel rei Joan I a l’arquebisbe Ènnec de Vallterra, juntament amb alguns drets reials sobre viles i llocs camptarragonins, per una quantitat total de 17 000 florins d’or d’Aragó.
L’any 1411, Arnau de Ribes era senyor de Penallonga, Perafort i també castlà del Codony. Més endavant, el 1430, Elisabet, vídua d’Arnau Ribes, donà el castell de Perafort a la seva filla Elisabet, mentre que els de Penallonga i el Codony restaren sota el poder de l’esmentada senyora fins a la seva mort. L’any 1436 Elisabet i el noble Bernat Pelegrí, amb qui s’havia casat, van fer-ne una estima quan ja posseïen els tres castells, i resultà en 20 000 sous el valor del Codony i Penallonga conjuntament. El 1467, Elisabet, vídua de Bernat Pelegrí, donà aquests tres llocs al capítol catedralici de Tarragona, reservant-se, però, l’usdefruit mentre ella visqués. Des d’aleshores i fins a l’inici del segle XIX, data de prescripció de les senyories, fou senyor d’aquest castell el capítol tarragoní.