Escampades per diferents indrets dels vessants del tossal del Mor, són visibles encara avui dia unes restes de construccions i habitatges d’origen medieval, i vestigis de murs fets amb carreus ben treballats que conformarien el recinte defensiu, quadrangular, de l’antic vilatge. Al tossal s’han trobat també restes de l’antiga església de Santa Maria del Mor i de ceràmica àrab i grisa medieval. El castell ocupava el cim del tossal.
El lloc, conquerit per Ramon Berenguer I, és esmentat el 1079 entre les possessions dels Anglesola. Sembla que el domini jurisdiccional pertanyia al comte. El 1177 fou establert un conveni entre Alfons el Cast i els cavallers del castell de Mor pel qual aquests es comprometien a defensar el castell pel rei; entre els signants del document hi ha Guillem de Tàrrega. El 1192 el rei Alfons donà el castell a Guillem d’Anglesola. La desaparició d’aquesta dinastia el 1417 originà diversos plets sobre la possessió del Mor, fins que els Cardona, successors dels Anglesola de Bellpuig, i més tard el duc de Sessa, s’imposaren definitivament.