A la fi del segle X hom té noticies ja del terme del castell, sota el domini de la nissaga Goscons, que entroncà amb la dels Arquer al segle XIII, i els transferí així la senyoria i els seus vincles.
L’edificació mantingué fins a mitjan segle XIX una important torre i una capella sota l’advocació de sant Feliu. La imatge, que fou traslladada a la seu parroquial, presideix el temple juntament amb sant Pere i sant Iscle.
Al final dels anys 1970, el Dr. Maluquer de Motes dugué a terme unes excavacions als fonaments del castell que mostraren les restes d’un absis paleocristià al lloc.