Casal conegut popularment com “el castell”, situat a poca distància al sud de l’església de Sant Cosme i Sant Damià de Serdinyà. Era la casa forta del llinatge dels Serrabou, documentats des del segle XII com a propietaris de diversos alous als voltants de Vilafranca.
Ponç de Serrabou fou el fundador, al segle XII, de l’hospital de Sant Andreu, a Vilafranca, al qual donà el 1225 l’església de Sant Pere de la Roca i algunes masies i alous.
L’any 1482, Joan Sirac i de Serrabou adquirí de Sant Miquel de Cuixà, per intercanvi, la senyoria de Llar. El seu gendre Joan Cassany, dit Gall, el succeí i fixà la seva residència a Vilafranca.