Inicià els seus estudis al Conservatori de Moscou i posteriorment els prosseguí amb Lev Oborin. Als setze anys es revelà com un pianista excepcional i actuà com a solista en la majoria d’orquestres de l’URSS.
El 1956 guanyà el premi Reina Elisabeth de Bèlgica i, el 1962, amb J. Ogdon, el concurs internacional Čajkovskij de Moscou. De seguida inicià una gira de concerts als EUA i el 1963 s’establí a Londres amb la seva família. El 1968 fixà la residència a Islàndia, on potencià definitivament la vida musical de Reykjavík. Per aquesta tasca fou distingit el 2018 amb la Gran Creu de l’Orde del Falcó, atorgada pel govern islandès.
Fou considerat un dels màxims especialistes de la seva generació en Mozart, Beethoven i Chopin, així com en Rakhmaninov, Prokof’ev o Skr’abin, entre d’altres. Enregistrà la integral de les sonates de piano de Beethoven, un enregistrament amb el qual guanyà el seu primer premi Grammy al millor solista instrumental. En total n’ha rebut set, el darrer dels quals, el 2000, per l’enregistrament dels Preludis i fugues per a piano de Šostakovič.
Sense abandonar la seva carrera de pianista, a la dècada del 1970 començà a dedicar-se a la direcció d’orquestra, tasca en la qual aviat excel·lí, essent habitual trobar-lo com a director convidat arreu del món. Del 1987 al 1994 va ser director musical de l’Orquestra Filharmònica de Londres. El 1989 fou nomenat director titular de l’Orquestra Simfònica de la Ràdio de Berlín i, posteriorment, director principal de l’Orquestra Filharmònica Txeca (1998-2003), director musical de l’Orquestra Simfònica NHK de Tòquio (2004-07) i director principal i assessor artístic de la Sydney Symphony Orchestra (2009-13), amb la qual desenvolupà projectes simfònics de gran abast i diverses gires internacionals. També ha dirigit l’European Union Youth Orchestra en diversos conerts. L’any 2000 fou nomenat Conductor Laureate de la Philharmonia Orchestra de Londres, en reconeixement de la seva llarga vinculació artística amb la formació.
Ha estat director convidat de prestigioses formacions, com les filharmòniques de Berlín, Los Angeles o San Francisco. El gener de 2020 anuncià la retirada de totes les actuacions públiques.