La primera notícia del terme del castell de Miralles de Copons és de l’any 1065. Quatre anys més tard, torna a aparèixer en l’acta de cessió per part dels esposos Ramon Guadall i Arsendis a la seu barcelonina de la dominicatura de Sant Pere Desvim. El 1078 un tal Guadall Adroer i la seva muller Arsendis vengueren uns alous situats dins el terme del castell de Miralles. El 1113 Ramon Teobald, en fer testament, llegà a la seva filla Adelaida els drets que ell tenia sobre el castell de Miralles, els quals tenia com una de les deixes testamentàries que li feu un tal Geribert Hug.
Desconeixem, ara com ara, les vicissituds històriques d’aquest castell al llarg del segle XII. El 1246 surt esmentat de nou en el testament d’Elisenda de Fals, la qual el llegà a la seva filla, Romea de Cervera. Al segle XIV, concretament el 1380, l’infant Joan vengué el castell de Miralles i el de Segur a Mateu de Calders, els quals foren incorporats a la baronia de Segur, jurisdicció senyorial que posseïen els Calders des del segle XIII com a feudataris dels vescomtes de Cardona. A partir d’aquest moment l’esmentada fortalesa passà, tal vegada com la baronia de Segur, dels Calders a la família Copons, vers l’any 1707, els quals la tingueren fins al final del segle XVIII, data en què fou traspassada ràpidament dels Grimau a la nissaga dels Vilallonga, que n’han conservat la propietat fins ara.