Aquest castell es trobava dins l’antic terme de Guissona i centrava una quadra o partida autònoma que era situada a l’est de la vila. De l’antic llogaret que hi hagué a l’indret, no n’han pervingut vestigis. Es tenen referències del castell de Fluvià des del 1040, any en què es redotà l’església i la canònica de la Seu d’Urgell. En aquests moments consta que es trobava inclòs dins el terme del castell de Guissona i que pertanyia a Santa Maria de la Seu d’Urgell. Els Fluvià foren els feudataris del lloc. Van tenir una destacada intervenció en la reconquesta d’aquest sector del país i ajudaren tant el comte com el bisbe d’Urgell. El senyor de Fluvià és un dels primers signants de l’acta de consagració de Santa Maria de Guissona del 1098. Els Fluvià, durant els segles XII i XIII foren els castlans que el bisbe d’Urgell tenia a Guissona. A mitjan segle XII posseïen, entre d’altres, els castells de Sant Guim, Foratmicó, Tudela, Queràs i la meitat del de Guissona.
Els dos darrers senyors de Fluvià que van dur aquest cognom foren Arnau Pere de Fluvià i el seu fill Guillem, que morí a mitjan segle XIV. La seva germana, Blanca de Fluvià, que es féu càrrec del senyoriu, era casada amb Berenguer Sacosta, senyor de la Figuera. La família devia passar per molts problemes econòmics i l’any 1380 van vendre el senyoriu de Tapioles, i tres anys més tard posaven a la venda el terme de Fluvià per cent setanta sous barcelonins. La universitat de Guissona, amb l’ajuda de la canònica de Guissona i les universitats de Torrefeta, Ossó de Sió i del poble de Fluvià, compraven finalment el lloc el 1389.
El 1505 el bisbe d’Urgell Pere de Cardona adquirí la totalitat de jurisdicció del lloc, amb tots els drets que hi posseïa la universitat de Guissona, i inicià la construcció d’una gran residència que restà inacabada (coneguda com “l’Obra de Fluvià”). Una de les condicions que estipulava la compravenda de tots els drets de la universitat de Guissona a Fluvià era que s’enderroqués el castell. Així, doncs, segurament en aquest moment va desaparèixer l’antiga fortalesa.