El castell del bisbe de Vic era situat a l’actual plaça del Pallol de Tarragona, en ple nucli antic de la ciutat, i ocupava l’edifici de l’antiga Audiència o torre de l’Audiència —actualment rehabilitat per a equipaments culturals i ocupat en part pel Col·legi d’Advocats de Tarragona—. Aquesta construcció aprofita les restes d’una de les dues torres bessones del gran complex edilici construït a Tarraco al segle I, el Concilium Provinciae Hispaniae Citerioris, que ocupava la part alta de la ciutat, tot distribuint-se en dues grans places, una de superior o recinte de culte i una d’inferior; aquesta tenia una estructura de plaça porticada, flanquejada per sengles torres a la façana sud. Les torres esmentades —que corresponen al dit castell del Rei o torre de Pilats i la torre de l’antiga Audiència— tenen una estructura interna d’accessos (escales i portes) que servien per a connectar la plaça del Concilium amb el circ.
L’estructura de la torre de l’Audiència seria simètrica a la de la torre de Pilat. Amb la restauració de la seu metropolitana de la ciutat, aquesta construcció romana fou reaprofitada com a castell del bisbe de Vic, i es coneixia popularment com la “Vigueta”. És molt probable que la seva presència a la ciutat es remuntés a la darreria del segle XI, sota la prelatura de l’arquebisbe Berenguer Sunifred de Lluçà (1091-1099), alhora bisbe de Vic. Segons A. Pladevaïl, des de l’any 1109 el bisbe de Vic va infeudar el castell del bisbe de Vic de Tarragona, que abans s’anomenava de Nahalis. Una de les primeres notícies documentals d’aquest castell data de l’any 1164, en la venda que Berenguer de Prats, conjuntament amb la seva esposa Narbona, feren a l’abat de Sant Cugat del Vallès d’unes cases situades a Tarragona, al peu de la muralla de la ciutat; segons aquesta escriptura de venda, en descriure les afrontacions de les cases venudes se cita que unes cases afronten “a meridie... in vicum qui descendit a castro Vicensis episcopi...” Alguns anys més tard, amb data de 25 de gener de 1198, Pere de Lluçà, en fer esponsalici en favor de la seva muller Estefania, especificava que tenia per l’església de Vic el “castrum de Terragona”.
A la llum del darrer document que s’acaba de citar de l’any 1198, sembla probable que la família Lluçà tingués drets sobre la possessió d’aquest castell, fet que evidentment és relacionat amb l’esmentat arquebisbe Berenguer Sunifred de Lluçà, el qual pertanyia a dita nissaga.
Són escadusseres fins a l’actualitat les referències d’aquest castell trobades en documents del segle XIII. N’hi ha una que data del 1276, quan en l’afrontació d’una casa de Tarragona es diu que era “prope palatium vicencis Episcopi”. Posteriorment, el 14 de juny de 1299, Bernat Guillem de Portella, senyor de Lluçà, prestà jurament de fidelitat al bisbe Berenguer de Vic pels feus i castells que tenia per ell, entre els quals hi havia el castell del bisbe de Vic de Tarragona. Ja al segle XIV, el 8 de maig de 1324 es consignà un conveni establert entre el bisbe Berenguer de Vic i Bernat de Portella; per aquest pacte o conveni, aquest darrer demanava al bisbe que l’investís de tots els feus que el bisbe Pere havia atorgat a Pere de Lluçà l’any 1171. Entre ells li demanava la investidura del “Castro de Terracona olim dictus de Nahalis”.
Al segle XVI, un capbreu dit de les Poncelles datat el 1551 situa el castell del bisbe de Vic (turrim nominatam del Bisbe de Vich) entre els carrers Ferrers, Salines i la plaça del Pallol. (JJMB-MLIR)
L’any 1986 es va portar a terme una excavació arqueològica a la torre de l’antiga Audiència per part del Servei d’Arqueologia de la Generalitat de Catalunya, a càrrec dels arqueòlegs J. M. Carreté i X. Dupré. Es va documentar una impressionant escalinata d’accés al fòrum provincial i la seva amortització vers mitjan segle V, amb un gran abocador de deixalles i una probable inutilització definitiva de l’accés de l’escala al segle VI. L’espai central, al costat de l’escala, és espoliat. Entre els materials documentats destaquen peces de terra sigil·lata grisa paleocristiana, àmfores nord-africanes, ceràmica comuna i ceràmica grisa.
Si bé no es van documentar nivells arqueològics corresponents a la restauració de Tarragona, l’estudi a fons d’aquest monument revesteix força importància tant per la investigació de la ciutat de Tarraco en època alt i baix-imperial, com pel coneixement dels primers segles de la Tarragona medieval. És ben significatiu, com bé exposa E. Riu, que al costat del castell del bisbe, situat al costat d’una de les portes d’accés a la ciutat (portal dels Predicadors, actualment dit portal del Roser), es generés una plaça (plaça del Pallol), de la mateixa manera que s’esdevé amb el castell del Rei, amb el portal i plaça homònimes. (JJMB)