Començà a rebre lliçons de violí del seu pare i del seu avi, tots dos professors del Conservatori de Riga, quan només tenia quatre anys. A setze anys fou guardonat amb el primer premi d’un concurs de violí a la seva ciutat natal. El 1965 es traslladà a Moscou per perfeccionar-se amb David Ojstrakh al conservatori. El 1967 obtingué la medalla de bronze al Concurs Reina Elisabet de Bèlgica i tres anys després fou primer premi del Concurs Internacional Cajkovskij de Moscou.
El 1981 fundà el Festival de Música de Cambra de Lockenhaus (Àustria). Ha mostrat sempre interès per la música contemporània, particularment per la de compositors de l’antiga Unió Soviètica com Al’fred Šnitke, Sofja Gubajdulina, Arvo Pärt i Edison Denisov, i ha estat una figura clau en la introducció de la música d’aquests autors a Occident. Fundador de la Kremerata Baltica, n’és primer violinista i director.
Ha enregistrat les grans obres tradicionals del repertori de violí, com el Concert per a violí, opus 77, de J. Brahms, amb l’Orquestra Filharmònica de Viena dirigida per Leonard Bernstein, el cicle complet dels concerts per a violí de W.A. Mozart sota la direcció de Nikolaus Harnoncourt i el Concert per a violí i orquestra ’A la memòria d’un àngel', d’Alban Berg, amb Colin Davis com a director.