L’antic castell palau de Palol de Revardit és situat dins el nucli de la petita població homònima, a tocar de l’església parroquial de Sant Miquel. Històricament, aquest castell s’esmenta ja el 1076, en una escriptura testamentària per la qual hi ha notícia que hi morí l’esmentat any el bisbe de Carcassona, Bernat Bernat, que es trobava de viatge per aquelles terres, no se sap amb quina finalitat. Consta que Dalmau Gausbert era llavors castlà de Palol, i assistí a la redacció del testament del prelat, dictat al mateix castell.
El llinatge dels Palol, senyors del castell, és documentat de forma ininterrompuda des de la fi del segle XI amb Dalmau Gausbert, fins ben entrada l’època moderna, en què els Palol s’entronquen amb els Cruïlles-Sarriera, i consta que l’any 1698 el lloc era ja de jurisdicció reial.
En l’actualitat, de la primitiva construcció medieval del castell no resta gairebé cap vestigi, doncs l’edifici fou modificat i ampliat entre els segles XV i XVII, època a la qual correspon la gran torre de planta rectangular adossada a d’altres dependències del conjunt.