El llinatge de la família que vivia en aquesta fortalesa es perfila a partir del 1183 amb Bernat de Vilatamar. Més tard el llinatge es va refondre amb els Palmerola. Vicenç de Palmerola residia a Vilatamar entre el 1398 i el 1406 i s’anomenava indistintament de Palmerola o de Vilatamar. La seva filla Blanca es casà amb Pere Despujol de la domus de Despujol de Voltregà i seguí les vicissituds d’aquesta família. Aquesta antiga domus s’ha transformat en mas, que encara conserva la disposició de la fortalesa dels segles XIV-XV.