El desaparegut castell del Patriarca ocupava l’illa de cases delimitada actualment pels carrers de la Baixada del Patriarca, Nou del Patriarca, Merceria i la plaça del Fòrum de la ciutat de Tarragona.
La construcció d’aquest castell fou obra de l’arquebisbe Bernat Tort, el qual, vers el 1146, manà bastir l’esmentada fortalesa per a establir-hi la seva residència, la qual durant molts segles fou l’estatge dels arquebisbes tarragonins. Per tal d’anar adaptant l’edifici a les noves necessitats, a la darreria del segle XIII, l’arquebisbe Bernat d’Olivella manà i costejà l’addició d’una nova planta al castell i posteriorment, el prelat Joan d’Aragó, al segle XIV, dotà la fàbrica de dues torres octogonals coronades amb merlets; així mateix, vers la meitat d’aquesta mateixa centúria, concretament l’any 1357, l’arquebisbe Sanço Lopes d’Ayerbe va manar adornar la capella del castell, dedicada a santa Maria, amb diverses pintures murals, per a la qual cosa llogà els serveis d’un pintor que va residir a la ciutat fins que les pintures foren acabades.
L’any 1375 el castell fou assaltat per la gent de Tarragona, escomesa que s’emmarca dins les lluites sostingudes en aquell temps entre els habitants de la ciutat i el poder eclesiàstic, representat per l’arquebisbe com a màxima autoritat.
Segons l’historiador J. Salvat, aquest castell, que sempre havia estat conegut com a castell de l’Arquebisbe, fou anomenat castell del Patriarca al segle XV, sota la prelatura de Pero de Urrea, ja que aquest arquebisbe assolí la dignitat de patriarca d’Alexandria per defunció del bisbe d’Urgell, al qual tradicionalment estava assignada.
Al segle XVI els arquebisbes abandonaren aquest castell i passaren a residir a la Pabordia o castell del Paborde, car consideraren que l’edifici era més apropiat. Durant els segles XVII i XVIII el castell del Patriarca es destinà a caserna militar i presó. A l’inici del segle XIX, després de la guerra del Francès, la retirada de les tropes de la ciutat l’any 1813 comandades pel mariscal de camp Suchet, va comportar la voladura de diversos molins, conduccions d’aigua, cases i edificis de la ciutat, entre ells el del castell de Patriarca, que va restar totalment malmès.
El castell del Patriarca o de l’Arquebisbe era bastit en un important punt del complex edilici del Concilium Provinciae Hispaniae Citerioris, erigit al segle I. En aquest indret es documenta l’enllaç arquitectònic de la gran plaça del recinte sagrat romà i les subestructures de la plaça del Fòrum Provincial. Els vestigis arquitectònics d’ambdues construccions monumentals serien elements bàsics en l’edificació del castell posteriorment. Gràcies a un plànol de Tarragona conservat a la Bibliothèque Nationale de París, datat el 1643, s’ha pogut conèixer com era, en part, l’estructura del castell. Es tractava d’un edifici de planta rectangular amb la porta d’accés oberta al costat nord-oest, on avui dia hi ha el carrer de la Baixada del Patriarca. Als angles sud-oest i nord-est hi havia sengles torres de base poligonal, les quals, com ja s’ha esmentat, va fer construir l’arquebisbe Joan d’Aragó. Vers el costat nord de l’edifici hi havia l’hort, l’oficina de l’oficialitat del vicari general i el mur de tanca del fossar. Així mateix, es conserva a l’Archivo General de Simancas un plànol de Tarragona de vers el 1716, en el qual la silueta del castell és similar a la dibuixada en el plànol del 1643.
Anteriorment a aquests plànols hi ha uns dibuixos de la ciutat de Tarragona fets l’any 1563 pel pintor flamenc Anton van den Wyngaerde; en aquests, la fesomia del castell del Patriarca sobresurt força de la resta de construccions de la ciutat, la qual cosa mostra que devia tractar-se d’un castell força gran.
Cal destacar finalment els diversos dibuixos d’aquest desaparegut castell que a l’inici del segle XIX va fer l’arquitecte i escultor tarragoní Vicenç Roig i Torné, conegut per Vicentó. Els seus dibuixos palesen la fesomia del castell del Patriarca abans i després de la seva destrucció pels francesos. Els que va fer abans de la voladura mostren una construcció de planta rectangular amb les dues torres coronades amb merlets, ja descrites anteriorment, sota els quals hi havia un fris d’espitlleres i el pis del terrat. La secció de la torre de l’angle nord-est indica que es tractava d’una construcció poligonal que posteriorment s’arranjà per a convertir-se en una torre de planta circular.