El 1921 s’afilià a les joventuts comunistes. Acusat d’instigar l’assassinat de dos policies en una manifestació a Berlín el 1931, fugí aquest any a Moscou, on estudià a l’Escola Internacional Lenin. Formà part de les Brigades Internacionals a la Guerra Civil Espanyola. A la fi de la Segona Guerra Mundial fou un dels creadors de l’Agència d’Espionatge i de Repressió Policial de la República Democràtica Alemanya (STASI), que dirigí del 1957 al 1989 com a membre del ministeri per a la seguretat. Membre del comitè central del Partit Socialista Unificat (SED) i del Politburó (1976-89), el 1993 fou condemnat a sis anys de presó per la mort dels policies el 1931, però a causa de la seva salut fou alliberat el 1995.