No es coneix cap resta ni la ubicació del castell d’Espà, malgrat que la documentació sembla indicar que aquest va tenir una gran importància a l’edat mitjana. El lloc de l’Espà surt ja esmentat documentalment el segle X, relacionat amb el monestir de Sant Llorenç prop Bagà. El 961 els marmessors del difunt Ava donen al monestir diverses propietats a l’Espà: “... hoc quod habeo in ipsas Spatas...” i a l’any 983, l’acta de consagració de l’església del monestir de Sant Llorenç esmenta que el monestir tenia quatre masos al lloc esmentat: “... ipsas Spatas...”. La primera referència sobre el castell la trobem el segle XI, quan en una data indeterminada entre els anys 1065 i 1095 un tal Galceran, com a castlà del castell, jura fidelitat al comte de Cerdanya pels castells de Pinós, l’Espà, Gósol, Saldes, Querforadat i Valmanya: “... kastellos quos teneo de te, id sunt. Pinos et Espada et Gosal et Salices et Cher Foradat et Valle Magna...”. Entre els anys 1109 i 1117 Galceran repeteix el jurament de fidelitat pels mateixos castells davant el nou comte de Cerdanya, Bernat Guillem i quan, en morir aquest, vers l’any 1117, el comtat de Cerdanya passà a integrar-se al de Barcelona, un Galceran, fill de l’anterior castlà repetí la mateixa cerimònia davant els comtes Ramon Berenguer III i Dolça. Entre els anys 1162 i 1196, Galceran de Pinós, presumiblement successor dels castlans abans esmentats, emeté el sagrament de fidelitat al rei Alfons el Cast pels castells esmentats, als quals s’afegeix el de Llo. Així, doncs, al final del segle XII el castell de l’Espà era un feu de la família dels Pinós. L’any 1289, Galceran de Pinós i la seva muller Berenguera, confirmen la carta de privilegis a Feners i entre els beneficis que concedeixen al lloc hi ha el de no haver de contribuir a les obres de cap dels castells de la baronia: “... castro nostro, scilicet de Gosol, nec de Ruppe dez Espaa, nec in castro de Saldas, nec in Bagadano, nec in aliquo alio loco, terre seu dominationis nostre...”. El 1313, Ramon de Lluarteres, procurador dels Pinós, objectava al rei que no havia de fer-li lliurar sagrament de fidelitat pels castells de Gósol, l’Espà, Saldes, Querforadat i Valmanya, car eren possessions alodials de la baronia de Pinós. Pocs anys més tard trobem el donzell Bernat de Gósol que posseïa en feu pel baró de Pinós el castell i la vall de Gósol, els llocs de Sorribes i l’Espà i el castell de Saldes. Mort aquell, l’any 1324, deixà a la seva filla Violant sota la tutoria de Jaume d’Olvan, que fou investit per aquells feus. Això fou passatger, car sabem que molt aviat un fill de Bernat de Gósol, anomenat Ramon, es vengué per tres anys els rèdits que posseïa a l’Espà. La filla d’aquest. Blanca, es casà amb Pere Bernat de Grallera, que passà a intitular-se senyor del castell. Els heretà la seva filla Gaia. El 1369 Pere Galceran de Pinós requerí l’esmentada Gaia, casada amb Berenguer de Llo, perquè li fes homenatge pel castell de l’Espà. Un segle més tard, l’any 1439, el donzell Berenguer de Llo, segurament fill o net de l’anterior, es titula senyor del castell de l’Espà i reconeix tenir-lo en feu del vescomte d’Illa, títol pertanyent a la família dels Pinós. El lloc de l’Espà, passà el segle XVI, com totes les possessions dels Pinòs, als ducs d’Alba. Així consta en un document del segle XVII on veiem que “Laspa, Fanes, Massanes, Salas, etc.” eren llocs del “Duch d’Alba”.