El castell de Santa Coloma esdevenia, a la tretzena centúria, el centre de la important baronia de Queralt. Pere de Queralt, senyor de Santa Coloma, atorgà als habitants de la vila una carta de franqueses l’any 1241 i dictà un seguit d’ordinacions per al millorament de la població. Primer els Queralt, i després els seus successors, els Reard, van mantenir el domini de la vila fins a la desamortització del s. XIX i van convertir el primitiu castell de Santa Coloma en el gran palau que es pot veure en l’actualitat.
L’unic element romànic que es conserva del gran casal o palau d’època renaixentista i barroca és la torre de planta circular, bastida cap al final del s. XI o l’inici del s. XII, que fa uns 24 m d’alçada. L’interior queda dividit en tres estances, dues de les quals, la inferior i la superior, són cobertes amb cúpula. Coronen la torre uns merlets. La porta, situada a uns 11 m de terra, permetia l’accés al segon pis, o estança principal; també s’observa una altra porta a la cambra superior, feta amb un arc de mig punt adovellat. A l’antic oratori del palau hi havia el retaule dels Sants Joans, gòtic, que avui és al Museu Nacional d’Art de Catalunya Restaurada fa uns quants anys, es troba en l’actualitat en molt bon estat de conservació.