Al s XI era conegut per palau , o torre, comtal de Vic , o, més sovint, per castell de Vic . Vers el 1088 fou cedit als Montcada amb un petit territori al voltant, on es formà la partida de Montcada de la ciutat. Era guardat per castlans i batlles dels Montcada, i es constituí centre de l’administració de llurs béns. El 1356 el seu domini suprem, que competia al rei, fou cedit al vescomte Bernat (III) de Cabrera, fet que motivà l’oposició dels bisbes i l’inici d’una època de segrests i tibantors que marcaren la història de Vic fins el 1448. Aquest any els consellers de Vic el compraren als Foix, vescomtes de Castellbò, i el vengueren el 1450 a l’Almoina General de Vic. Fou destinat a graners i a presó, i fou demolit el 1882 en descobrir-se el temple romà. Resten part dels murs de tramuntana, que mostren que era un edifici de tres pisos reedificat a la fi del s XI.