Aquesta fortalesa apareix esmentada l’any 1041, quan Arnau i la seva muller Guisla donaren a Santa Maria de Meià una peça de terra al terme del castell de Sant Esteve. Cal dir que el nom d’aquest castell provenia d’una església dedicada a aquest sant i situada al terme de Vallferines, la qual l’any 1022 havia estat dotada per Guillem de Meià, la seva esposa Garsenda, Company, castlà del castell de Meià, i la seva muller Garsenda. Aquesta església, juntament amb el castell de Sant Esteve, foren propietat del monestir de Meià per donació de la família homònima, segons que consta en un capbreu atribuït a l’any 1137, on es fa constar que el cenobi de Meià posseïa al castell de Sant Esteve molts censos i drets, a més de l’església.
Les mencions explícites al castell de Sant Esteve desapareixen de la documentació al segle XII. Això, juntament amb el fet que l’església de Sant Esteve estigués dins el terme de Vallfarines, ha portat alguns autors a identificar el castell de Sant Esteve amb el de Vallfarines. Aquests autors suposen que, conjunturalment, el castell de Vallfarines va prendre el nom de castell de Sant Esteve.
Es dóna més informació històrica sobre aquest suposat castell i la seva identificació amb el de Vallfarines, en aquest volum, en la monografia titulada “Casa forta de Vallfarines”, dins aquest mateix municipi.