És documentat l’any 1077 i es trobava dins les terres del Baridà. Durant els primers anys va dependre dels comtes de Cerdanya, i per aquest motiu el seu destí estigué lligat al dels castells de Queralt i Sant Martí dels Castells. Els tres castells eren la frontera defensiva del sector occidental del Baridà. A mitjan segle XIII el castell de Miralles s’havia convertit en una talaia d’observació, en bona part com a conseqüència de la construcció del castell de Cava i la rehabilitació del castell del Querforadat. Al final del mateix segle, el castell fou cedit a la família Pinós pel comte de Foix Ramon Bernat III.