Damunt les roques que hi ha a la península allargada que es forma entre el riu Llierca i la riera de Sant Aniol d’Aguja, prop de llur confluència, en un indret força espadat —d’aquí podria venir el nom—, sembla que hi havia hagut un castell o una casa forta, del qual, segons Els castells catalans, només resta un mur fet amb pedres sense treballar. Amb tot, si les restes que se n’han conservat són escasses, les notícies documentals que han arribat fins a nosaltres també són molt reduïdes. Cap a mitjan segle XIII, apareix segurament documentat per primer cop aquest castell. Arran d’un litigi entre Ermessenda d’Empúries i Guillema de Soler i llurs nebots, fills d’Agnès de Cartellà, s’acordà que el castell de Sales i també el castell “Cespasa” eren d’Ermessenda. L’any 1261, segons F. Monsalvatje, aquest castell Sespasa encara era part del patrimoni dels senyors de Sales. Els tres hereus d’Arnau de Sales, Ramon d’Empúries del castell de Sales, Bernat Vidal del castell de Bestracà i Guillema de Soler del castell de Montpalau acceptaren que els castlans dels castells de Sales, de Beuda i de “Rocas de Spata” depenguessin del senyor de Sales. Tot això fa pensar que el castell Sespasa era una casa forta, un petit castell on vivia un castlà feudatari dels Sales, situada a l’entrada septentrional dels dominis d’aquesta família senyorial. L’any 1410, segons Joaquim Matas, Pere Valentí, de la parròquia de Sadernes, renuncià a una habitació dita “de l’Espasa”, amb les seves honors i possessions, a favor del senyor de Sales. Hom no sap pas si aquesta noticia té cap tipus de relació amb el castell o només amb algun habitatge que hi havia prop seu. Segons un estudi aparegut recentment (Ferran del Campo i Jordà, Castells medievals. 37 castells de la Garrotxa, Carles Vallès editor, Figueres 1989, pàgs. 49-51), hom pot trobar amb dificultat diverses restes d’aquest castell, situades en dos llocs propers i en dos nivells clarament diferenciats. En un nivell inferior del terreny hi havia una torre de planta rectangular, dins d’un recinte més gran; en un nivell de la penya més elevat, molt difícil d’atènyer, s’alçava una altra torre més petita també de planta rectangular i, a prop seu, restes d’una altra construcció potser de planta circular.