Aquest castell es trobava en la part del comtat d’Osona que passà als comtes de Cerdanya i finalment quedà vinculat al comtat de Besalú. El terme del castell comprenia les antigues parròquies que formen part de l’actual terme de les Llosses, a més de la d’Alpens i de la de Sant Pere de Serrallonga, actualment de la comarca d’Osona. Les primeres notícies sobre el castell i la família feudatària es troben documentades a partir de l’any 1017, quan un Bernat del castell de Guàrdia signà en el document de constitució del bisbat de Besalú, que féu el comte Bernat Tallaferro per al seu fill Guifré. No obstant això, el nom de Matamala, que era una de les parròquies del terme, és documentat en època anterior. La primera notícia correspon a la suposada dotació del comte Guifré de l’any 888, però es tracta d’un document apòcrif, redactat posteriorment amb dades vertaderes i transformades, el qual atribueix al comte Guifré donacions que havien fet altres comtes o, com en aquest cas, altres persones. La donació de l’alou de Matamala al monestir de Ripoll la degué realitzar vers l’any 888 el bisbe de Vic Gotmar en el moment de la consagració de l’esglèsia del monestir, o en tot cas es realitzà abans de l’any 899, quan morí aquest bisbe. Tot i que el document de la donació s’ha perdut, en el precepte de Lluís Ultramarí de l’any 938 per al monestir de Ripoll, es fa constar que posseïa l’alou de Matamala amb la seva parròquia, tal com el bisbe Gotmar confirmà per la seva carta. No obstant això, podria haver existit una donació real del comte Guifré i una cessió dels drets parroquials per part del bisbe Gotmar. Els senyors eminents del castell, si és que ja existia, foren els comtes de Barcelona com a comtes d’Osona fins a mitjan segle X, en què, en un moment indeterminat, el sector de la vall de Ripoll passà al comtat de Besalú. Així es fa constar l’any 1021 en el testament sacramental del comte de Besalú, Bernat Tallaferro, en el qual deixà al seu fill Guillem els castells de Milany i de la Guàrdia, la torre, el castellar i el castell de la Portella, així com tota la terra del comtat d’Osona i del comtat’de Berga, tal com el seu germà Oliba (el bisbe de Vic i abat de Cuixà i de Ripoll) li havia donat. Els comtes de Besalú encara feren actes que reflecteixen el seu domini eminent sobre el castell de la Guàrdia, quan l’any 1054 el comte Guillem II féu una concòrdia amb el comte de Barcelona, Ramon Berenguer I, i posà com a garantia el castell de la Guàrdia, del qual era castlà Ramon Bernat. En un altre document sense data el comte de Besalú empenyorà el castell al comte de Barcelona. Els feudataris o castlans foren la família de la Guàrdia o Saguàrdia. El primer membre de la família que es documenta és el ja esmentat Bernat, del castell de la Guàrdia, el qual l’any 1017 signà en el document de constitució de l’efímer bisbat de Besalú. Un fill d’aquest, suposem, Ramon Bernat de la Guàrdia, és documentat actuant en els comtats de Cerdanya i de Barcelona. Un possible fill seu, Arnau Ramon, l’any 1070 féu jurament de fidelitat al comte Bernat II de Besalú pel castell de la Guàrdia amb la seva castlania i la roca de Castellar. La família de la Guàrdia continuà com a feudatària del castell, quan aquest passà als comtes de Barcelona com a nous comtes de Besalú, fins i tot Ramon Bernat de la Guàrdia formà part del seguici del comte barceloní i signà en diversos documents comtals els anys 1118, 11 29 i 1130 i figurà com a marmessor del testament del comte Ramon Berenguer III redactat l’any 1131. El fet que el monestir de Santa Maria de Ripoll tingués béns al terme del castell de la Guàrdia fou motiu de conflictes, un dels quals finí amb l’evacuació que l’any 11 73 féu Ramon de la Guàrdia, que havia fet cas omís a les evacuacions i definicions que havien fet els seus avantpassats al monestir. I, aconsellat per l’arquebisbe Guillem de Tarragona, definí i evacuà en mans de l’esmentat arquebisbe i de l’abat Ramon del monestir de Ripoll totes les malifetes que havia fet a Tremolosa, les Llosses i Puigmal (actualment Puigbò). La branca directa de la família del castell de la Guàrdia, s’estroncà amb l’esmentat Ramon de la Guàrdia, que només tingué tres filles. La successora en la possessió del castell fou la seva filla Guillema, a la qual deixà el castell de la Guàrdia en el seu testament redactat l’any 1179. Guillema de la Guàrdia es casà abans de l’any 1190 amb Bernat de Portella. La possessió del castell de la Guàrdia per la família de la Portella no degué durar gaire i sense que sapiguem com, l’any 1255 el castell de la Guàrdia de Ripoll era en mans de la família Pinós. Fou la muller de Galceran III de Pinós, anomenada Esclarmunda, que tenia el castell de la Guàrdia del Ripollès en esponsalici del seu marit. Aquest castell fou assignat a un fill segon que s’anomenà Ramon de Guàrdia; així figura en un dels testaments del seu pare de l’any 1255, però en un testament posterior (sense data), Ramon de la Guàrdia ja era difunt i aleshores era el seu fill hereu, Ponç de Guàrdia, qui rebé el castell de la Guàrdia i tota la Roca i castell de Baborers, amb la condició que la seva àvia, la senyora Esclarmunda, el podia reclamar per raó d’esponsalici. Aquest testament ha d’ésser posterior a l’any 1 263 i ja que aquest Ramon de Guàrdia encara era viu i reconegué tenir del monestir de Sant Joan de les Abadesses diverses rendes en feu del castell de la Guàrdia, i anterior a l’any 1 277, quan es redactà una nova clàusula i el testador morí poc després. Aquesta nova família, també anomenada de la Guàrdia, aviat canvià de nom, ja que l’esmentat Ponç de la Guàrdia es casà amb Timbor de Canet, senyora de Canet, i llur fill Guillem fou el primer vescomte i primer baró de la Guàrdia. El castell romangué en aquesta família fins al darrer membre de la branca directa que fou Maria de Canet, la qual es casà vers l’any 1312 amb Ramon Folc VII, vescomte de Cardona, que el 1 5 de març de 1312 prengué possessió de la baronia de la Guàrdia com a futur espòs de Maria de Canet. El mes d’agost del mateix any el rei Jaume II emparà els castells de la Guàrdia i de la Roca de Baborers per raó de feu. Sembla que el monarca creia que s’havia alienat el castell sense el consentiment del senyor eminent que era ell. Després, el març de 1313 el rei renuncià a les seves actuacions sobre els castells de la Guàrdia i de la Roca de Baborers. Però el matrimoni no tingué descendència i Maria de Canet cedí la baronia de la Guàrdia amb el castell de la Roca de Baboiers a Bernat de Cabrera. Tot seguit, l’any 1356, Bernat III de Cabrera, en compensació dels castells i drets que el rei Pere el Cerimoniós li havia donat al comtat d’Osona, cedí al monarca el castell de la Guàrdia de Ripoll i el castell de Tornamira situat a la vegueria de Bages. Tampoc el rei no el retingué gaire temps sota el seu domini, i l’any 1363 vengué, o forçà a comprar a l’abat de Ripoll, Ramon de Savarrés, pel preu de 6 000 lliures, el castell de la Guàrdia de Ripoll amb la seva baronia i els castells de Baborers i de Puigbò, amb el mer i mixt imperi i la jurisdicció civil i criminal i altres drets com el d’host i el de cavalcada. L’adquisició del castell i baronia de la Guàrdia alarmà l’abat del monestir de Sant Joan de les Abadesses, el qual l’any 1374 es queixava a l’abat de Ripoll perquè la venda del castell s’havia fet sense el seu consentiment, ja que els senyors del castell de la Guàrdia tenien diversos feus —com s’ha vist — pel monestir de Sant Joan, i era preceptiu el seu permís; l’abat de Sant Joan amenaçà de demanar l’empara del castell segons els Usatges de Catalunya. El conflicte s’allargà fins a l’any 1401, quan s’arribà a una concòrdia entre ambdós monestirs per raó dels homes de la Guàrdia. Aquest canvi de senyor no degué ser del grat dels habitants de la baronia, ja que vers l’any 1418 es volien reunir per fer sindicats que organitzessin les talles necessàries per tal de redimir-se, però l’abat de Ripoll, ajudat del batlle general de Catalunya, tractà d’impedir-ho, per la qual cosa el 1418 es presentà una queixa al rei. Els fets posteriors confirmen que els habitants de la baronia no aconseguiren redimir-se i el castell i la baronia de la Guàrdia de Ripoll perduraren sota el domini del monestir de Ripoll fins a la desaparició de les senyories jurisdiccionals. Actualment les restes del castell es troben al mas del Castell, en un petit puig de la serra de Santa Margarida, al costat de migjorn de la vall, sota el santuari de Santa Margarida de Vinyoles.