En una concòrdia signada entre el comte Ramon Berenguer IV i el comte Ponç Hug d’Empúries, l’any 1138, apareix un Bernat de Campmany (Campman) i els seus fills, als quals el comte d’Empúries hagué de tornar allò que els havia pres. És possible que en aquest moment ja existís el castell de Campmany. Segons els Gesta comitum Barcinonensium, l’any 1288 un exèrcit francès ocupà el castell de Campmany. Al poble de Campmany han restat diversos fragments de les muralles de la població i diverses torres, de planta circular o rectangular, i fins i tot l’església, que formava part de la fortificació. Aquestes construccions, més transformades o menys, són dels segles XIV o XV.