Aquest castell dit la Garàrdia o Geràrdia, del qual no resten vestigis, era tingut en franc alou per un llinatge de cavallers anomenats Gerard o Garardencs. Al segle XII, Guillema, filla de Ramon Gerard i de Clara, el donà en franc alou a Ermengol de Vernet, el qual el restituí en feu a ella mateixa i al seu espòs Ramon Sarrier.