Les mencions més antigues del castell de Miramar són del segle XII. Aquesta fortalesa, juntament amb els castells de Prenafeta i Figuerola del Camp, amb els quals formava una sola jurisdicció, apareix com a pertanyent als Puigverd. L’any 1157 Pere de Puigverd reclamà els drets que ell posseïa en aquest territori al comte de Barcelona, Ramon Berenguer IV, adduint que els seus antecessors havien colonitzat aquesta demarcació. Els seus drets foren reconeguts, ja que el 1198 Pere, Berenguer i Guillem de Puigverd —tots ells, fills de Pere de Puigverd— atorgaren una carta de franquesa als habitants del terme dels castells de Figuerola, Prenafeta i Miramar.
El 1271 el castell de Miramar, juntament amb Prenafeta i Figuerola del Camp, passà al monestir de Poblet per donació que li’n feu Berenguer de Puigverd; donació que fou confirmada en el seu testament datat l’any 1297. Tanmateix, aquest testament fou protestat per Guillem de Verdú, descendent de l’esmentat Berenguer de Puigverd, protesta que es resolgué finalment el 1338 en dictar-se una sentència arbitral a favor del monestir de Santa Maria de Poblet. Alguns anys més tard, el 1367, el rei Pere III va concedir la plena jurisdicció sobre aquest castell al monestir de Poblet, i al llarg del segle XV l’esmentat cenobi va adquirir el mer i mixt imperi del rei.