Lluità en l’exèrcit tsarista com a tinent de reserva i s’adherí a la revolució de 1917. Al principi col·laborà estretament amb Molotov i durant tota la seva trajectòria fou un fidel seguidor de Stalin. Nomenat general de l’exèrcit roig (1932), el 1942 dirigí les operacions de Stalingrad juntament amb Zukov. L’any següent fou promogut a mariscal i ocupà el càrrec de cap d’estat major. El 1945 dirigí la campanya de Manxúria. En 1949-53 substituí Bulganin en el càrrec de ministre de defensa i, posteriorment, a la mort de Stalin fou rellevat per Bulganin en el càrrec i nomenat viceministre de defensa (1953-57). Fou membre del Comitè Central el 1961. L’any 1974 publicà un llibre de memòries.