Aquest castell s’ha transformat avui dia en una masia que conserva l’antic caràcter fortificat, situada a migdia del terme, entre Conill i Mirambell.
El castell de Castelltort és documentat des del segle XII. Fou cedit com a dotació de la canònica de Sant Jaume de Calaf. Originària d’aquest castell fou la família Castelltort. L’any 1193 signa un Pons de Castelltort en una escriptura de la família Cervera, i poc després, el 1196, és documentat Guerau de Castelltort. Probablement ambdós personatges són membres d’aquesta nissaga, com també ho era Berenguer de Castelltort, ciutadà de Barcelona, que fundà l’hospital de Cervera el 1389.
El castell de Castelltort acabà integrant-se als dominis dels Cardona, i així consta l’any 1314 i el 1375, data de la creació del comtat de Cardona.