Aixecat en 1401-06, en el solar situat entre els dos camins del Llobregat (actuals carrers del Carme i de l'Hospital) abans de confluir al Pedró, on hi havia hagut l'antic hospital d'en Colom, fundat el 1219, del qual es conserva una part de l'edificació. El Consell de Cent decidí la seva construcció el 1401 per a unir els antics hospitals ciutadans d'en Guitard (segle X), ampliat el 1024 i el 1047 i transformat en l'hospital de la Santa Creu i Santa Eulàlia (del qual prengué el nom el nou hospital), el d'en Marcús (erigit el 1150), el dels Mesells o dels Llebrosos (fundat al segle XII pel bisbe Guillem de Torroja), el d'en Colom, ja esmentat, i el de la Maternitat (o de Sant Maties) i el de l'Almoina, ambdós fundats al segle XIV. Benet XIII concedí la butlla fundacional el 1401.
La pedra de Montjuïc de les naus gòtiques, ales del nou edifici, fou la que el consell havia cedit al rei Martí I per edificar un palau que no s'arribà a començar. L'edifici comprenia quatre ales, entorn d'un pati o claustre (obra de Guillem Abiell), que el convertiren en una bella realització del gòtic civil català. El 1509 foren iniciades les naus que alberguen l'hospital vers ponent; amb aquestes obres l'estructura de l'hospital canvià, car hi hagué una espècie de desdoblament, hom suprimí l'ala de migjorn i uní un nou claustre a l'antic, i al capdamunt de la nau suprimida foren construïdes dues escales monumentals el 1585. El 1444 hom construí una nova església, i finalment la part de llevant de l'edifici (1830). El govern de l'hospital era a càrrec de quatre administradors, elegits pel municipi i pel capítol de la catedral (pràctica que encara avui subsisteix). Un infermer major es feia càrrec dels malalts, i a cada sala hi havia un responsable; tot funcionava d'acord amb unes excel·lents normes escrites. Al segle XVI la seva capacitat era d'unes 400 a 500 places, la mortalitat era d'un 25% i la durada mitjana de l'estada dels malalts era de 21 dies.
L'activitat com a hospital general augmentà ràpidament —5.000 ingressos l'any 1610—, però les condicions assistencials en sales no permetien la convivència de malalts, expòsits i folls. Llavors els llebrosos foren traslladats a la plaça del Pedró, i després a Horta, els malalts crònics a la casa de la Misericòrdia i els malalts mentals anaren d'un lloc a l'altre, fins que fou inaugurat l'Institut Mental de la Santa Creu (1889). Entre els anys 1629 i 1680, gràcies als llegats de tres dames (Lucrècia de Gualba, Victòria Astor i Helena Soler) i del ciutadà Pau Ferran, hom edificà el gran edifici barroc de la Casa de Convalescència, prop de l'angle N-W de l'edifici, que pot ésser considerada la primera casa de rehabilitació del país. Annex a l'hospital, davant la Casa de Convalescència, fou edificat el tercer edifici monumental del conjunt, el Col·legi de Cirurgia de Barcelona (1760).
El 1911 l'Hospital es féu càrrec del nou Hospital de Sant Pau, on hom anà traslladant gradualment els serveis; l'edifici fou adquirit el 1921 per l'ajuntament de Barcelona. Més tard la Casa de Convalescència passà a l'Institut d'Estudis Catalans. Aleshores començà la restauració de l'edifici gòtic per a destinar-lo a la Biblioteca de Catalunya. Al costat del claustre nou s'ha instal·lat l'Escola Massana d'Arts Sumptuàries i Decoratives. La capella fou restaurada el 1951, i és destinada a exposicions. Els edificis restaurats gradualment són destinats a diverses funcions de caire civil i cultural.