El Castell Vell, situat a l’antiga plaça del Blat —anomenada des del segle XVII plaça de l’Àngel—, era conegut com el castell vescomtal per excel·lència, encara que els vescomtes també dominaven els castells barcelonins del Regomir i el Nou (construït al portal occidental). L’anomenat Castell Vell defensava la porta oriental de la muralla romana, la més important de totes les portes d’accés a la ciutat.
Al final del segle X, el 986, ja era una de les propietats del vescomte Udalard I, al qual el comte Borrell encarregà la defensa de la ciutat davant l’escomesa d’Almansor el 985, durant la qual fou empresonat i conduït a Còrdova on romangué cinc anys. En el decurs d’aquest temps, el seu germà Geribert, senyor del castell del Port, assumí les funcions vescomtals.
Udalard I fou succeït pel seu fill Bernat Udalard vers el 1040, any de la seva mort. Aquest darrer, però, morí prematurament deixant un fill Udalard Bernat (conegut també com Udalard II) menor d’edat. Per aquesta raó el títol vescomtal fou emprat pel seu oncle Guislabert, el qual fou bisbe de Barcelona des del 1034.
Tant l’oncle com el nebot foren partíceps actius en les hostilitats que entre 1041-1044 i 1049-1058 enfrontaren la família vescomtal i els Santmartí contra el comte de Barcelona Ramon Berenguer I, fins al punt que els partidaris dels vescomtes apedregaren el palau comtal des dels palaus vescomtal i bisbal. Aquesta oposició finí amb una sentència de l’any 1044 per la qual els vescomtes es comprometien a lliurar els culpables de tal incident i a fer efectiu el pagament de 10 000 sous.
Amb tot, el poder territorial que assolí aquesta casa vescomtal féu que el 1063 els comtes de Barcelona, Ramon Berenguer I i Almodis, obliguessin Udalard II a efectuar un conveni de vassallatge pel Castell Vell vescomtal de Barcelona.
Al mes d’agost d’aquest mateix any 1063 Geribert Guitard, versemblantment com a castlà del Castell Vell, i el comte de Barcelona establiren de nou un conveni sobre aquesta fortificació barcelonina.
Udalard II fou succeït pel seu fill Gelabert Udalard (també conegut com Guislabert II), el qual ja és esmentat com a vescomte vers el 1090. El 1110 establí un nou conveni amb el comte Ramon Berenguer III en el qual li jurà fidelitat i es comprometé a defensar la ciutat de Barcelona des del seu castell.
Dos anys després, el 1113, apareix de nou documentat el Castell Vell de Barcelona en l’acord fet entre el comte Ramon Berenguer III i el veguer Berenguer Ramon de Castellet. Aquest fou succeït pel seu fill Guillem Ramon de Castellet, el qual jurà fidelitat al comte el 1126 —any de la mort del seu pare— sobre diverses fortificacions entre les quals hi havia el Castell Vell vescomtal de Barcelona.
A partir d’aquest moment el Castell Vell vescomtal deixà d’ésser la residència dels vescomtes i esdevingué l’estatge dels veguers de la ciutat. Vers el 1145 Guerau d’Alemany establí un conveni amb el comte Ramon Berenguer IV sobre diversos castells de la seva propietat, com també pel que fa a la defensa de la ciutat de Barcelona, i concretament els castells comtals Vell i Nou de la ciutat.
Als segles XIV-XV aquest castell esdevingué presó. Com a tal sofrí diverses modificacions al llarg dels segles, la darrera el 1778. El 1839 desaparegué del tot com a edifici penitenciari. Amb tot, la torre del castell, que havia estat incorporada als segles XIV-XV subsistí —transformada des del 1908 en una casa del carrer de la Bòria— fins l’any 1911, que fou enderrocada a conseqüència de l’obertura de la Via Laietana.