La primitiva domus era situada dalt el pujol que li ha donat nom; fou destruïda durant la guerra remença. La família Despujol consta des del segle XII (1187) i s’ha perpetuat fins a l’actualitat i Josep de Despujol, marquès de Palmerola i Catllús, comte de Montclar i baró de Fenollar, és el propietari de l’actual casa de Despujol, que és una obra moderna i es troba al peu del mateix pujol, a llevant de la vila de Sant Hipòlit.