L’antic castell de Guialbes fou bastit a mitjan s XI al puig de Guialbes pel comte de Barcelona, enfrontat amb el de Besalú, que havia aixecat el de Vilademuls, però hom arribà a una concòrdia. L’església parroquial de Sant Esteve, que correspon a la de l’antic castell, fou reedificada al s XVIII; en depèn el santuari i antiga col·legiata de les Olives de Sant Esteve de Guialbes.