L’antic castell de Calabuig, del comtat d’Empúries, fou adquirit, probablement el 1175, pels vescomtes de Rocabertí al monestir de Banyoles, que havia fundat anys abans el priorat de Calabuig (Sant Nicolau i Santa Creu de Calabuig) a l’església parroquial de Sant Nicolau (actualment arruïnada), situada a 1 km del castell, al N. El castell fou destruït per ordre de Jaume I de Catalunya-Aragó durant l’expedició de càstig contra el comtat d’Empúries (1275). El priorat perdurà fins el 1618; els últims priors n’eren solament titulars, i residiren a Banyoles. El 1691 la parròquia fou traslladada al clos de l’antic castell, on s’havia anat traslladant la població, sota l’advocació de sant Feliu.