Aquest casal es trobava situat en terme de Ripoll, prop del terme del castell de Pena, tocant al riu Ter, aigües amunt de la vila de Ripoll, prop de Ribamala. Inicialment el lloc no tenia cap fortalesa; vers l’any 1275 s’inicià un primer intent de fortificar el lloc de Rama, però els feudataris del monestir de Sant Joan de les Abadesses havien destruït la construcció al·legant que era massa prop del castell de Pena i li faria la competència. De nou l’any 1298 hom emprengué una nova fortificació, que altra vegada fou deturada. Fou l’any 1316, quan les obres foren represes d’una manera accelerada. El pla de la fortalesa consistia en dues torres amb els corresponents fossats i altres obres necessàries per a la protecció de les dues torres. Llavors fou l’abat de Sant Joan qui envià un canonge al lloc, i davant el fill i hereu del batlle Bernat de Rama llançà tres pedres sobre la fortalesa en construcció i s’endegà un fragós plet per la construcció de la fortalesa que acabà amb l’ordre reial de demolició de les torres de Rama. No se sap fins on es complí la sentència, ja que l’any 1 554 s’esmenta que la torre de Rama era derruida. Actualment no resta cap mena de vestigi de l’antiga fortificació, ja que l’actual palau de Rama reemplaçà al final del segle passat l’antic mas fortificat.
Castell Palom Aquest castell es trobava inicialment en el comtat d’Osona, si bé després es vinculà al de Besalú. El seu terme es devia estendre per la part de la vall de Vallfogona que actualment és terme de Ripoll, llevat de la pròxima al riu Ter, que pertanyia al terme del castell de Llaés, si bé aviat fou absorbit per aquest. Les primeres notícies del castell corresponen a l’any 955, quan la comtessa Elo, vídua d’Oliba (era fill del bisbe Radulf d’Urgell i, per tant, nét del comte Guifré), amb la seva filla Enquilia, donà al monestir de Sant Joan de les Abadesses la seva part d’uns alous situats al comtat d’Osona, al castell de Llaés, els quals afrontaven amb el castell Palom (“castel Palumbi”). L’any 960 en la consagració de l’església de Sant Bartomeu de Llaés el bisbe Ató uní a l’església consagrada el castell Palom amb els termes i adjacències. L’any 962 un alou situat a Vallfogona afrontava amb el terme del castell de Palom. La darrera notícia del castell apareix en una nova consagració de l’església de Sant Bartomeu de Llaés, on torna a ésser esmentat el terme del castell de Palom. A partir d’aquest moment desapareix de la documentación i reapareix el segle XIV com a mas del terme de Llaés. Així, l’any 1309 l’abat Guillem de Sant Joan de les Abadesses comprà a Dalmau de Palol el mas de Castell Palom i d’altres del terme de Llaés, condició que ha anat mantenint fins a l’actualitat, si bé es troba enrunat. Aquest castell degué tenir una característica especial, ja que totes les vegades que és documentat en els segles X-XI és esmentat com a “castel” o “castello”, mai com a “castrum”. No sabem de segur si aquesta diferenciació volia marcar alguna diferència estructural o temporal, com si fos un castell antic, d’època anterior als segles IX-X.