Es formà com a intèrpret de trompa a l’Acadèmia Sibelius de la seva ciutat natal, on es graduà a dinou anys. Acabats els estudis, amplià els seus coneixements de composició amb E. Rautavaara. A partir del 1973 començà a interessar-se per la direcció orquestral. A Itàlia rebé lliçons de F. Donatoni, a Siena, i N. Castiglioni, a Milà.
Debutà com a director el 1979 amb l’Orquestra Simfònica de la Ràdio de Finlàndia. Després de dirigir les principals orquestres escandinaves, el 1985 assumí la titularitat de la Simfònica de la Ràdio de Suècia, càrrec que exercí fins al 1995. Fou també principal director invitat de la Philharmonia de Londres (1985-94), on obtingué un ressonant èxit el 1983 quan substituí M. Tilson Thomas amb la Tercera Simfonia de G. Mahler al programa; amb aquesta formació debutà a Barcelona, el 1987. També simultaniejà en aquests anys la seva activitat com a director convidat de l’Orquestra de l’Òpera Nacional Finesa i de l’Orquestra Filharmònica d’Oslo.
El 1992 es convertí en el desè titular de la prestigiosa Filharmònica de Los Angeles, amb la qual obtingué diversos reconeixements discogràfics, especialment pel seu enregistrament de la Simfonia núm 3 de Witold Lutoslawski. L’any 1993 fou el primer director que rebé el premi Siena de l’Accademia Chigiana. Osupà aquest càrrec fins el 2009. Entre el 2009 i el 2021 fou el director principal de la Philharmonia Orchestra de Londres. L’any 2004 dirigí per primera vegada la San Francisco Symphony com a director convidat, fet que repetí el 2014 i el 2019, i a partir de la temporada 2020-21 assumí el càrrec de director musical, que ocupà fins al març del 2024. El setembre del 2025, l’Orchestre de Paris s’anuncià el seu nomenament com a director principal a partir de la temporada 2027-28.
Practica també la composició i ell mateix dirigí, el 1991, l’estrena de la seva obra Floof, escollida com la millor de l’any per la Tribuna Anual de Compositors celebrada a París. Des del 1996 dirigeix artísticament l’enregistrament de totes les obres de György Ligeti. L’any 2024 fou guardonat amb el premi Polar de Música.