Segons Joaquim Botet i Sisó, aquest castell depenia de la família des Torrent, que el tenia en feu pel senyor de Torroella de Montgrí. L’any 1272, en produir-se el bescanvi entre Dalmau de Rocabertí i l’infant Pere, com a representant del rei, esdevingué senyor de Torroella aquest infant i, de fet, el castell d’Albons fou incorporat a la corona. En un document del mateix 1272, una mica més tardà que el precedent, hi ha esmentada una Beatriu de Llagostera i d’Albons (Albornis), casada amb Arnau de Llagostera. Quan el 1303 es relacionen tots els torts fets pel comte d’Empúries contra el rei o el bisbe de Girona, amb relació a la construcció del castell de Bellcaire, surt esmentat el castell d’Albons que era tingut per un feudatari del rei (el castell d’Alborns qui és feu del senyor rey). Sembla, segons diu Josep Pella i Forgas, que el rei prohibí al comte Ponç d’Empúries no solament que fes la força de Bellcaire sinó també que fortifiqués Albons. Malgrat tot això, l’any 1311, el rei Jaume II vengué el domini que tenia sobre Albons precisament al comte d’Empúries, que féu fortificar la població. Després d’aquestes notícies contradictòries, segons explica Joaquim Botet i Sisó, el rei, més endavant, cedí a Bernat d’Orriols, successor dels des Torrent —que d’acord amb això devien continuar essent senyors feudataris d’aquest lloc—, el mer i mixt imperi sobre el castell d’Albons. Després de dependre una època de la família Orriols, aquesta fortificació, al final del segle XIV, passà als senyors de Foixà. El 1409 el lloc d’Albons fou incorporat a la corona per Martí l’Humà. Malgrat això els Foixà continuaren essent els senyors d’Albons, tot i alguna interrupció del domini que s’esdevingué durant els anys crítics de la guerra civil de la segona meitat del segle XV. Actualment, al voltant de la plaça que hi ha davant l’església d’Albons, s’han conservat algunes construccions que hom pot relacionar amb aquest castell. La major part d’aquestes construccions són, però, de cap al segle XIV o XV, o encara més tardanes. A la banda de ponent d’aquesta plaça hi ha també una torre, que havia format part de les muralles de la població, que és, segurament, de cap al final de l’edat mitjana.