El primer senyor que coneixem del lloc de Jafre s’anomenava Artal de Jafre. Aquest Artal, cavaller, apareix, segons Lluís Constans, signant l’acta de fundació d’una capellania, instituïda pel vescomte Dalmau de Rocabertí. Això no obstant, segons Francesc Monsalvatje, l’any 1277, en un document és esmentada la venda dels delmes de la parròquia de Jafre feta, en una època anterior, per Artal —potser el del document precedent— al prior del monestir de Sant Miquel de Cruïlles; aquest instrument del 1277 és, precisament, el reconeixement que féu Arnau de Bordils, fill d’Artal, d’aquesta venda. Abans d’aquesta data, l’any 1243, segons F. Monsalvatje, és esmentat un batlle de Jafre, anomenat Guillem, que depenia, però, de la comunitat de Sant Miquel de Cruïlles, que sembla que tenia importants drets en aquest lloc. Els anys 1348 i 1362, trobem documentat un Berenguer de Jafre. Al segle XV, Jafre, que formava part de la baronia de Verges, depenia dels vescomtes de Rocabertí. Del castell —o potser més aviat caldria parlar de la casa forta— de Jafre ha restat ben poca cosa. Sembla que s’alçava a tramuntana de l’església actual. Segurament, segons Joan Badia, aquesta construcció era situada on ara hi ha una esplanada, i en part fou reaprofitada, al segle XVIII, per fer l’església moderna. Un mur perpendicular al temple, fet amb carreus grossos i que té una longitud d’uns 7 m, que hom pot datar cap al segle XIII o el XIV, és el vestigi més notable d’aquest edifici. En aquesta paret hi ha una espitllera.