Gràcies a Stalin accedí al Comitè Central del Partit Comunista de l’URSS el 1934, al Comitè Executiu del Komintern el 1935 i passà a relevar G.G. Jagoda en la direcció del NKVD el 1936. Presidí les grans purgues dels anys 1937-38 (processos de Moscou), període que és conegut pel nom de ježovčina. Substituït per L.P. Berija (1938), Ježov fou responsabilitzat dels excessos de 1937-38 i desaparegué el 1939.