Aquest castell es trobava en els límits del castell de la Guàrdia primer, i després del del Bruc i el de Castellolí, al coll anomenat de Castelltort, i tenia la missió de guardar el pas de la carretera que de la Conca d’Òdena es dirigia cap a la vila de Piera. Les poques notícies que es tenen no permeten confirmar si tenia terme, i, en cas afirmatiu, havia de ser molt petit. Sembla que estava vinculat al castell de la Guàrdia de Montserrat i apareix sempre sota el domini dels mateixos senyors del castell de la Guàrdia, primer els vescomtes de Barcelona i després la família Guàrdia.
La primera notícia que es coneix d’aquest castell correspon a l’any 1187, data en la qual en el testament del darrer membre de la família vescomtal barcelonina, Berenguer Reverter de Guàrdia deixà a Albert de Castellvell, entre altres castells, el de Castelltort. La situació del castell consta explícitament en la donació que l’any 1221 feu Guillem II de Guàrdia al monestir de Santa Maria de Montserrat d’un alou que tenia a Vilaclara, el qual afrontava amb el terme de Pierola i seguia fins a Castelltort. En un reconeixement de drets del rei i dels castlans del castell de la Guàrdia el terme també passava per Castelltort. Segurament el castell passà, com el de la Guàrdia, a Guillem II de Guàrdia, però en el seu testament del 1227 no consta explícitament que el tingués, si bé es consideraria que formava part del castell de la Guàrdia i segurament ambdós seguiren les mateixes vicissituds.