Inicià els seus estudis al Conservatori de Moscou i posteriorment els prosseguí amb Lev Oborin. A divuit anys guanyà el Premi Chopin de Varsòvia, i a dinou, el Reina Elisabet de Bèlgica. De seguida inicià una gira de concerts als EUA i el 1963 s’establí a Londres amb la seva família. Enregistrà la integral de les sonates de piano de Beethoven i una mica més tard, el 1968, fixà la residència a Islàndia, on potencià definitivament la vida musical de Reykjavík. Paral·lelament ha desenvolupat una important tasca com a director d’orquestra: el 1989 fou nomenat director titular de l’Orquestra Simfònica de la Ràdio de Berlín, càrrec que ocupà fins l’any 1998. Del 1987 al 1994 va ser director musical de l’Orquestra Filharmònica de Londres, amb la qual ha efectuat nombrosos enregistraments. Ha estat invitat sovint a dirigir altres prestigioses formacions, com les filharmòniques de Berlín, Los Angeles o San Francisco. Com a pianista, és considerat un dels màxims especialistes en Mozart, Beethoven, Chopin, Rakhmaninov, Prokof’ev o Skr’abin, entre d’altres.