Debutà com a violoncel·lista, i al cap de poc temps inicià una carrera ascendent com a director d’orquestra de la Scala de Milà (càrrec que ocupà del 1896 al 1902 i del 1906 al 1908), on estrenà I Pagliacci, de Leoncavallo, i La Bohème, de Puccini. Director del Metropolitan de Nova York (1908-15), hi estrenà La Fanciulla del West. Novament com a director de la Scala, estrenà Turandot. Més tard dirigí a Bayreuth (1930-31) i a Salzburg (1935-37). Després d’una estada als EUA, tornà a inaugurar el 1946 la Scala de Milà, reconstruïda després dels bombardeigs de la Segona Guerra Mundial. Fou el director d’orquestra més admirat i més sever del seu temps. El 1893 actuà a Barcelona.