Si bé de l’església de Castelltort en tenim notícies dels primers temps de la repoblació de la vall de Lord, cap als anys 872-878, del castell, en canvi, cal esperar el desembre de 1 375 per assabentar-nos que Castelltort passà a formar part del nou comtat de Cardona en ésser erigit pel rei Pere el Cerimoniós, i l’any 1445 per saber que, juntament amb els castells de Pedra i Sisquer, contribuí a les despeses de les noces de l’hereu de la casa de Cardona.