La primera notícia del castell de l’Espelt és de l’any 996. En aquesta data surt esmentat en un document atorgat pels comtes de Barcelona, en el qual Ramon Borrell i la seva muller, Ermessenda, promulguen una sentència favorable a Sisensa pels castells d’Òdena, Speuto i Serraïna que li havia llegat el seu marit Guifré, possessions que reclamava Bonfill, fill de Sendred.
El 1040 aquesta fortalesa fou donada per Sesnanda, senyora del castell de Guardiola, a la Seu de Vic. Malgrat això, la família Cervera prengué per la força la potestat d’aquest castell, tal com ho demostra un document datat el 1200, en el qual Ramon de Cervera restitueix aquesta possessió a l’església de Vic en mà del seu ardiaca Bernat d’Aguiló i del bisbe Guillem de Tavertet. Amb tot, el bisbe de Vic i l’ardiaca Bernat donen en condició de feudatari seu aquest castell a Ramon de Cervera, amb el benentès que a la seva mort la possessió retornarà a la seu vigatana. El 1213 Ramon de Cervera reté homenatge de fidelitat a l’esmentada seu de Vic. El 1227 el mateix Ramon de Cervera defineix el terme del castell i vila de l’Espelt.
L’any 1236 el bisbe vigatà Bernat Calbó hagué d’intervenir com a mitjancer de les disputes entre Dalmau, ardiaca de Vic, i Ramon Guillem II d’Òdena sobre la potestat d’aquest castell. Dictada la sentència l’ardiaca podia disposar de la fortalesa de l’Espelt com volgués, amb el benentès que ni Guillem d’Òdena ni cap home de la seva guarnició farien cap acció contra l’Espelt. Aquest mateix any Berenguer de Castellolí, juntament amb la seva mare Arsenda i la seva germana Saura, defineixen el castell de l’Espelt a l’església de Vic.
El 1279 el bisbe de Vic, Ramon d’Anglesola, nomenà Maimó de Castellolí administrador del castell de l’Espelt. El 1318 passà a dependre de la jurisdicció reial. El 1321 l’infant Alfons prometé no separar mai l’Espelt del domini del rei, però el 1323 el cedí al vescomte de Cardona, Ramon Folc VII. El 1326 el vescomte el donà en emfiteusi a Bernat de Castellolí. El 1334 Hug I de Cardona feu una concessió perpètua d’aquest contracte emfitèutic als Castellolí.
La fortalesa de l’Espelt pertanyia encara al duc de Cardona al segle XVII.