El castell de Mata, del qual sembla que no resta res, devia ésser situat al costat de l’església de Sant Andreu de Mata. D’ençà de la segona meitat del segle XI, trobem diversos senyors de Mata. L’any 1107 és documentat un Bernat Ramon de Mata, i el 1099 s’esmenta un Pere Ramon de Mata. L’any 1111, segons Pere Català en un instrument comtal és mencionat “ipso kastro de Mata”. El 1142, Bernat Joan, fill de Guillem Bernat de Cornellà, casà amb Dispòdia de Mata. L’any 1208 hi hagué una concòrdia entre Pere de Mata i el seu germà Guillem. Durant el segle XIII i XIV s’esdevingueren diversos juraments de fidelitat dels senyors de Mata al bisbe de Girona. El 1379, el rei Pere III vengué la jurisdicció d’aquest lloc a Pere d’Usall.