L’antic castell de Calabuig , del comtat d’Empúries, fou adquirit, probablement el 1175, pels vescomtes de Rocabertí al monestir de Banyoles, que havia fundat anys abans el priorat de Calabuig ( Sant Nicolau i Santa Creu de Calabuig ) a l’església parroquial de Sant Nicolau (actualment arruïnada), situada a 1 km del castell, al N. El castell fou destruït per ordre de Jaume I de Catalunya-Aragó durant l’expedició de càstig contra el comtat d’Empúries (1275). El priorat perdurà fins el 1618; els últims priors n'eren solament titulars, i residiren a Banyoles. El 1691 la parròquia fou traslladada al clos de l’antic castell, on s’havia anat traslladant la població, sota l’advocació de sant Feliu.