La domus de Castanyet és documentada des del 1282 com a domini de la casa de Cabrera, que la tenia infeudada a la família Vilademany. El 1382 s’esmenta encara sota els Cabrera. El 1612 consta ja com a domini total de Carles de Vilademany i de Cruïlles, senyor de Santa Coloma de Farners. Sembla que era a tocar de l’església de Sant Andreu de Castanyet, on ara hi ha la rectoria.