Les primeres notícies del castell del Port són de l’any 1020, que Guifré de Mediona fa donació d’unes terres a la seu barcelonina. Aquestes terres eren situades a prop de l’anomenat castell de Geribert. Versemblantment s’ha identificat aquest Geribert amb el fill del vescomte Guitard, i naturalment el seu castell com el del Port. El 1030 ja apareix com a castell del Port en el testament d’Ermessendis, esposa de Geribert.
Aquesta fortalesa passà després al seu fill Folc Geribert, clergue. Aquest fou succeït com a propietari pel seu nebot Bernat Mir, levita, el qual vers la segona meitat del segle XI —el 1059— el traspassà a la seu barcelonina. Sembla, però, que aquesta donació no tingué validesa atès que el 1060 Mir Geribert, pare de Bernat, cedí l’esmentat castell als comtes de Barcelona com a desgreuge d’unes hostilitats que havien sorgit entre ell mateix i el comte.
Al segle XII n’era el castlà Berenguer Bernat, casat amb Solesta; també era senyor del Castell Nou. Segons P. Voltes aquest Berenguer seria el germà del vescomte Udalart Bernat. El 1121 Berenguer jurà fidelitat al comte Ramon Berenguer III entre d’altres castells pel castell del Port. Sembla que entre els anys 1116 i 1196 la família Marcús posseí el castell del Port.
El 1167 Ramon de Subirats devia posseir uns certs drets sobre el castell, ja que en testar els llegà a la seva filla Sança. El 1196 Ramon d’Òdena deixà al seu fill Guillem aquesta fortalesa.
Al segle XIII n’era el propietari Guillem de Torrelles, el qual, el 1265, el traspassà al seu fill Guillem. El 1329 la fortalesa passà a mans de Bernat de Sarrià com a successor dels anteriors. Després d’aquests gaudiren d’aquesta possessió els Casademunt, els Pla i els Diumer. El 1498 el castell del Port era de Bernat Diumer. A l’inici del segle XVI n’era senyora la seva filla Dionísia. Aquesta fou succeïda per la seva filla Elionor Morell. Al segle XVIII els seus propietaris eren la família Negrell.
A l’inici d’aquest segle encara eren ben visibles les ruïnes d’aquest castell situat en un penyal a migdia de la muntanya de Montjuïc. Tanmateix, els vestigis que romanien van desaparèixer en obrir-se la carretera del Port l’any 1910.