El lloc de Brullà és esmentat en la documentació a partir del segle X. Molt probablement a partir del segle XI gaudí d’una senyoria laica, la qual sembla haver estat, al segle a mans d’un llinatge dit de Brullà (Pere Bernat de Brullà, 1132; Pere Ramon, 1135; Bernat de Brullà, 1128, 1163; Ramon de Brullà, 1145; Carbó de Brullà, 1169; Bernat de Brullà, 1172; Garsendis de Brullà, 1188; Maria de Brullà; Adalbert de Brullà, 1269). Al segle XII, la milícia del Temple adquirí d’aquest llinatge un notable dominí sobre Brullà.
En el curs del segle XIII, la senyoria eminent de Brullà passà a mans dels comtes d’Empúries, possiblement pel casament d’Hug III d’Empúriesamb Maria de Vilademuls cap al 1218. En efecte, el 1269, el comte Ponç Hug IV d’Empúries i el seu fill Hug vengueren a Guillem Sapte de Pollestres, abat de Sant Genís de Fontanes, “el lloc i castell de Brullà” —excepte els molins que depenien del castell de la Roca d’Albera i el feu que tenia Adalbert de Brullà—, limítrof al nord-oest del domini immediat del monestir. Sant Genís de Fontanes conservà aquesta important adquisició fins a la fi de l’antic règim.
Del castell de Brullà, aparentment no en queda res.