Es graduà a l’Escola de Música de la seva ciutat natal, on estudià percussió i direcció de cor. Del 1955 al 1960 amplià la seva formació al Conservatori de Sant Petersburg amb Nikolai Rabinóvitx i Evgeni Mravinskij i s’especialitzà en direcció operística i orquestral.
Debutà el 1955 amb l’Orquestra Simfònica de la Ràdio d’Estònia. El 1963 fou nomenat director principal d’aquesta formació i assumí la direcció de l’Òpera de Tallinn. Aquest mateix any fundà l’Orquestra de Cambra de Tallinn. El 1971 obtingué el premi de direcció d’orquestra de l’Acadèmia de Santa Cecília de Roma.
Entre el 1976 i el 1980 dirigí l’Orquestra Simfònica de l’Estat d’Estònia, nom que adoptà l'anterior Orquestra Simfònica de la Ràdio d'Estònia i que posteriorment passarà a denominar-se Orquestra Simfònica Nacional d'Estònia (ERSO). La seva presentació internacional tingué lloc el 1979 al Metropolitan Opera House de Nova York. El 1979 estrenà a Estònia l’obra per a cor i orquestra Credo del seu amic Arvo Pärt.
El 1980 abandonà l’URSS i s’establí als EUA, on el 1990 fou nomenat director de l’Orquestra Simfònica de Detroit, que dirigí fins al 2005, per passar a dirigir la New Jersey Symphony Orchestra (2005-2009). Col·laborà amb altres orquestres nord-americanes i seguí actuant amb diverses formacions europees com la Filharmònica de Berlín o la Tonhalle de Zuric, amb la qual el 1998 presentà un concert en homenatge a G. Solti al Palau de la Música Catalana, en la catorzena temporada d’Ibercamera. Des de l'any 2000, Järvi ha continuat desenvolupant una intensa activitat internacional, dirigint algunes de les principals orquestres europees, americanes i asiàtiques.
Retornà a l'Orquestra Simfònica Nacional d'Estònia (ERSO) com a director artístic i director principal entre 2010 i 2020. El 2017 aquesta institució el nomenà Director Artístic Honorari Vitalici, en reconeixement a la seva contribució decisiva al prestigi de l'orquestra i de la música estoniana. També és director emèrit de l'Orquestra Simfònica de Detroit i de l'Orquestra Simfònica de Göteborg, i director laureat de la Royal Scottish National Orchestra
En l'àmbit pedagògic, entre 2013 i 2016 fou director dels estudis de direcció i assessor artístic de la Gstaad Conducting Academy (Suïssa), dedicada a la formació de directors d'orquestra. El 2017 rebé el Premi Estatal Estonià a la Trajectòria Cultural i el 2018 la revista Gramophone li atorgà el Lifetime Achievement Award en reconeixement al conjunt de la seva carrera.
Ha enregistrat més de cinc-cents discs amb un impressionant repertori en el qual destaquen els autors russos i escandinaus.