En el testament sacramental de Bernat Tallaferro, comte de Besalú, de l’any 1021, ja surt esmentat un Bernat de Kalabuio. Aquest mateix Bernat ja apareix també, l’any 1020, en un plet amb el bisbe. D’altra banda, en una butlla del papa Urbà destinada al monestir de Sant Esteve de Banyoles, de l’any 1097, és mencionat el “castrum de Calapodium”. En una altra butlla del 1174 hi ha novament esmentat aquest castell. Així mateix, en aquesta mateixa època, també surten esmentats uns senyors que tenien aquest lloc de Calabuig, segurament pel monestir de Banyoles; per exemple, l’any 1157, apareix un Berenguer de Calabuig. Segons el parer de Lluís Monreal i Martí de Riquer, cap a l’any 1175 el castell de Calabuig, que sembla que era de l’abadia de Sant Esteve de Banyoles, fou adquirit pels Rocabertí. Segons Santiago Sobrequés l’any 1275, arran d’una revolta del comte Hug V d’Empúries i d’altres senyors empordanesos, entre els quals els vescomtes de Rocabertí, el castell de Calabuig, que era del vescomte, fou destruït per les forces reials. La construcció del castell devia ésser refeta, ja que al segle XV encara és esmentat el castell de Calabuix. Durant la guerra del Francès el castell fou, però, novament destruït. Les restes actuals del castell, utilitzades en època contemporània com a església parroquial, són posteriors a la destrucció de l’època de Jaume I.