El castell de Guialbes era situat a la part alta de la població, al costat de l’església parroquial de Sant Esteve, que havia estat capella del castell. Avui dia se’n conserven poques restes. Una de les primeres notícies és el conveni establert l’any 1057 entre els comtes Guillem II de Besalú i Ramon Berenguer I, com a conseqüència de les greus desavinences anteriors, que afectava els castells de Colltort i de Finestres. A més s’establí el compromís segons el qual si el comte de Besalú no enderrocava el seu castell de Vilademuls, el comte de Barcelona-Girona faria construir un castell al puig de Guialbes, i si el comte de Besalú feia destruir totalment aquell castell de Vilademuls, s’hauria de destruir també el dit castell de Guialbes: “… quantum predictus comes fecerit destruere de ipso castro de Vila de Muls sive in longum sive in latum, sive in altum, tantum faciat destruere predictus Remundus comes de ipso castro de pujo de Ecclesias Albas; si vero predictus Guilelmus comes fecerit destruere totum ipsum castrum de Vila de Muls, Remundus predictus comes similiter destruat totum ipsum Castrum de Pujo Ecclesias Albas”.
Malgrat el seu origen com a possessió directa del comte de Barcelona-Girona, hom afirma que més endavant la senyoria del lloc i castell i el seu terme fou, precisament, feudatària dels barons de Vilademuls, la casa de Rocabertí. No sabem, tanmateix, per quins camins aquest canvi s’hauria produït.
De la segona meitat del segle XII hi ha notícies diverses del llinatge dels Santesteve, donzells residents a Guialbes. L’any 1161 és documentat Ramon de Santesteve i el 1193 Berenguer de Santesteve. Al segle XIV posseïen el casal dit la Roca, a Vilamarí, però no s’ha pogut comprovar l’existència d’una relació clara amb el castell de Guialbes.
En canvi, sembla clar que, almenys a partir de la segona meitat del segle XIII, els cavallers de Juià tingueren la senyoria del lloc i castell de Sant Esteve de Guialbes, hom suposa que com a castlans en feu dels barons de Vilademuls. Els membres d’aquest llinatge i posteriorment els seus descendents, els Xetmar, mantingueren els drets jurisdiccionals sobre Guialbes fins a la fi de l’Antic Règim.