En ser Vilafranca de domini reial, no és estranya l’existència d’un edifici d’allotjament dels monarques de la corona catalano-aragonesa, el qual possiblement es construí al final del segle XII. El 1236 el rei Jaume I cedí a Fructià de Palau el seu palau reial amb l’obligació de donar allotjament al monarca i als seus successors sempre que s’hi trobessin de pas. Sembla que fou en aquest palau on morí el rei Pere II el Gran el 1289, segons explica el cronista Ramon Muntaner. El 1303 el rei Jaume II va encarregar al sots-veguer i al batlle de Vilafranca que venguessin l’esmentat palau i que amb el preu de la seva venda en construïssin un altre a la mateixa població. El palau fou adquirit el 1308 pel monestir de Santes Creus, el qual el posseí fins a la desamortització del 1835. Després va tenir diversos usos, fins que passà el 1936 al patronat del Museu de Vilafranca. El palau nou, que es bastí al segle XIV, és possible que fos situat al palau dels Babau, ara conegut per palau Baltà.
L’edifici actual on se suposa que hi hagué el Palau Vell és d’estil gòtic amb possibles restes del segle XII. Tot i així, en unes obres que es realitzaven a la capella de Sant Pelegrí el 1965 es descobrí el que sembla que era un pany de muralla, de paret de tàpia, amb dues finestres de tradició romànica possiblement del segle XIII, que formava part d’un conjunt residencial, anterior a la capella, i que podrien pertànyer a una part de l’antic Palau Reial, la més antiga. Avui aquestes restes han estat completament rehabilitades. D’una manera errònia se les ha volgut identificar amb la torre Dela.