El castell de Fluvià era una domus o casa forta aloera coneguda ja des d’antic com a casa de Palau, de Sant Cebrià o de Sant Corneli.
Les primeres notícies que en tenim són de l’any 1154, quan els habitants de l’esmentada domus eren la família dels Palau, els quals es podrien considerar una nissaga important, ja que a més de posseir aquesta casa forta, tenien dret de farga.
Aquesta domus pertanyia a la jurisdicció del castell de Montclús, bé que d’ella depenia la quadra de Campins. Aquest fet provocà diverses discòrdies entre el vescomte Bernat III de Cabrera, senyor de Montclús, i Pere de Palau, les quals finiren amb un document de concòrdia realitzat l’any 1345.
El 1360, i després de la mort de Pere de Palau, la possessió de la domus passà a la seva filla Blanca, casada amb Ramon de Blanes. El 1373 adquirí el domini llur filla, Grahida, casada amb Antoni de Torrelles. Aquesta família en tingué la propietat fins el 1425, que passà a Agnès de Torrelles, la qual era casada amb Joan de Fluvià. La propietat d’aquesta casa forta romandrà en poder dels Fluvià fins a l’extinció del llinatge el 1837.
Al segle XVIII fou totalment transformada en una masia senyorial. I avui, del primitiu castell només en resta la capella, propietat, juntament amb l’edificació moderna, de la família Adroher.