Als vint-i-tres anys guanyà el premi Herbert von Karajan. Inicià la seva carrera com a titular de l’Orquestra Estatal d’Armènia i amb el temps dirigí les principals orquestres de l’antiga URSS. El 1978 fou nomenat assistent de Jurij Temirkanov al Teatre Mariinski de Sant Petersburg, que el nomenà director musical el 1988. Encara que dirigí en altres teatres europeus, Gergiev centra la seva carrera al Teatre Mariinski, amb el qual ha realitzat nombroses gires internacionals i enregistraments del repertori líric rus.