Al testament de Bernat Tallaferro, comte de Besalú, de l’any 1021, és esmentat Tedmar de Urriols, el qual probablement devia ésser el senyor del lloc d’Orriols. És lògic, d’altra banda, que ja aleshores aquest Tedmar visqués en un castell o bé, potser, en una casa forta. L’any 1265 hi ha una notícia clara de l’existència del castell. En un document d’aquesta data són esmentats els danys causats en aquest castell durant les lluites que hi hagué entre el comte d’Empúries i el senyor de Rocabertí. Hi ha algunes notícies també dels senyors d’aquest castell a la baixa edat mitjana. L’any 1319 apareix una Gueralda d’Albons, senyora del castell d’Orriols, que li pervingué del seu marit difunt, Berenguer d’Orriols. Aquesta Gueralda prestava homenatge al bisbe pels delmes de la parròquia de Sant Genís d’Orriols. L’any 1322, Jaume II concedí a Bernat d’Orriols el mer i mixt imperi amb relació a les terres que depenien del castell d’Albons. Al segle XIV, els Orriols esdevingueren senyors de Foixà i tingueren un paper força important en la política catalana. L’any 1359, a Orriols, hi havia 6 focs d’eclesiàstics i 11 del senyor del lloc. L’actual edifici del castell és dels segles XVI i XVII, i encara una part de la façana de llevant és del segle XVIII.