Aquest edifici és a l’extrem de ponent de l’esperó on s’assenta la població d’Aspa, a migdia del riu Set. Després de la conquesta, el lloc d’Aspa fou atorgat al bisbe i al capítol de la seu de Lleida, que en conservaren la senyoria fins a la fi de l’antic règim. A l’inici del segle XIII el bisbe hi féu construir un castell palau, on sovint residiren els bisbes fins al segle XIX. Aquest palau ja és esmentat l’any 1215 en un document del Llibre Verd de la catedral. Patí moltes reformes i modificacions posteriors. (XEC)
L’actual construcció és de planta trapezoidal i té un marcat caràcter gòtic. El costat meridional és el més regular però correspon a l’obra dels segles XVI i XVII; a l’est, les dependències foren reaprofitades per a fer-hi habitatges particulars, en un edifici fet de carreus encoixinats; al nord hi ha un pati amb una cisterna, i a l’oest una edificació caracteritzada per tenir vuit finestres coronelles de tres arquets apuntats, amb dues columnetes de base àtica i capitell troncocònic llis. Aquesta peculiaritat permet suposar que l’obra d’aquesta banda fou feta a la segona meitat del segle XIII o al principi del XIV. Interiorment les cambres són fruit de les darreres modificacions, però hi ha una gran habitació de planta rectangular amb l’eix sud-nord que té dos arcs de diafragma, actualment arrebossats, i que es pot considerar una de les dependències més antigues del palau. També és del mateix moment l’arc apuntat del mur occidental del pati, integrat en una façana bastida el 1568. Poca cosa més resta de la primitiva construcció. Des del 1994 l’edifici és objecte d’un projecte de consolidació per iniciativa municipal, que es duu a terme en col·laboració amb el Departament de Cultura de la Generalitat, però on malauradament sembla que manquin l’experiència i el control arqueològic necessari per a una obra d’aquesta categoria. (JRG)