La notícia més antiga sobre l’existència d’un casal o domus dels comtes de Cerdanya a Ix és de l’any 1061, quan, a conseqüència de les desavinences greus sorgides entre el comte Ramon I de Cerdanya i el vescomte Bernat II de Cerdanya, aquest darrer va presentar-se a la domum comitale in villa Ix i va jurar fidelitat al seu senyor en presència del bisbe d’Urgell i d’altres il·lustres personatges. Després del traspàs del darrer comte de Cerdanya, vers l’any 1117, els comtes de Barcelona, com Alfons I, esdevinguts reis d’Aragó, encara continuaren fent estades a Ix. Ho proven una carta d’aquest rei datada a Ix el 3 d’agost de 1175 i una altra el mes de juliol del 1177. Aquesta residència comtal o palau degué ser fortificat. El seu emplaçament s’ha de buscar en l’actual casa de pagès coneguda amb el nom de “la Torre d’Ix”, que conserva encara alguns vestigis medievals. El 1271 encara es parla del palau d’Ix en unes afrontacions d’unes cases situades a la vila d’Ix.