Al cim del Montpetít, al nord-est de Sant Martí de Toralles, hi ha les ruïnes d’una construcció. Francesc Monsalvatje esmentava que hi havia les restes d’un antic edifici, del qual encara es conservava la cisterna. Segons aquest autor, d’acord amb la tradició popular, era un convent de monges; ell, però, creia que era un petit castell que depenia dels comtes de Besalú i que hom pot identificar amb el Castellar de la Muntanya. Pere Català i Roca, en canvi, més aviat l’identifica amb el castell de Toralles, documentat al segle XI (“castrum de Toraies”), en un plet que hi hagué contra Galceran de Sales. De fet, aquesta identificació és dubtosa. Sigui com vulgui, el nom de Toralles, que ja surt com a afrontació en un document de l’any 977, pel qual el comte bisbe Mir cedí un alou situat a Oix a la comunitat de Sant Vicenç de Besalú, ja és prou significatiu i pot demostrar que en aquest moment hi havia d’haver una construcció defensiva en aquest indret.