Membre del Partit Obrer Socialdemòcrata Rus des del 1907, treballà en els serveis de seguretat des del 1930. Essent comissari del poble per als afers interiors en el NKVD, tingué lloc el primer procés de Moscou, en el qual foren condemnats i executats Kamenev i Zinov'ev, entre altres. El 1936 fou destituït acusat d’incapacitat de desemmascarar els trotskistes zinovievistes, i fou jutjat ell mateix en el darrer procés del 1938. Fou executat i reemplaçat per N.I. Ježov.