Aquest castell es trobava inicialment en el comtat d’Osona, si bé després es vinculà al de Besalú. El seu terme es devia estendre per la part de la vall de Vallfogona que actualment és terme de Ripoll, llevat de la pròxima al riu Ter, que pertanyia al terme del castell de Llaés, si bé aviat fou absorvit per aquest.
Les primeres notícies del castell corresponen a l’any 955, quan la comtessa Elo, vídua d’Oliba (era fill del bisbe Radulf d’Urgell i, per tant, nét del comte Guifré), amb la seva filla Enquilia, donà al monestir de Sant Joan de les Abadesses la seva part d’uns alous situats al comtat d’Osona, al castell de Llaés, els quals afrontaven amb el castell de Palom (“castel Palumbi”). L’any 960 en la consagració de l’església de Sant Bartomeu de Llaés el bisbe Ató uní a l’església consagrada el castell de Palom amb els termes i adjacències. L’any 962 un alou situat a Vallfogona afrontava amb el terme del castell de Palom. La darrera notícia del castell apareix en una nova consagració de l’església de Sant Bartomeu de Llaés, on torna a ésser esmentat el terme del castell de Palom. A partir d’aquest moment desapareix de la documentació i reapareix al segle XIV com a mas del terme de Llaés. Així, l’any 1309 l’abat Guillem de Sant Joan de les Abadesses comprà a Dalmau de Palol el mas de Castell Palom i d’altres del terme de Llaés, condició que ha anat mantenint fins a l’actualitat, si bé es troba enrunat. Aquest castell degué tenir una característica especial, ja que totes les vegades que és documentat en els segles X-XI és esmentat com a “castel” o “castello”, mai com a “castrum”. No sabem de segur si aquesta diferenciació volia marcar alguna diferència estructural o temporal, com si fos un castell antic, d’època anterior als segles IX-X.