Es formà musicalment als conservatoris de Parma i Milà. A dinou anys fou contractat com a repetidor per una companyia d’òpera en una gira per l’Amèrica del Sud, en el transcurs de la qual, a causa de la indisposició del director titular, hagué de substituir-lo en una representació de l’òpera Aïda, de G. Verdi, a Rio de Janeiro. Dirigí de memòria i obtingué un èxit esclatant que fonamentà la seva fama de gran director operístic, reforçada en tornar a Itàlia arran de la direcció de l’estrena de l’òpera Edmea de Catani. El 1898 fou nomenat director de la Scala de Milà, i al cap de deu anys començà la seva fructífera relació amb la Metropolitan Opera House de Nova York, que mantingué de manera continuada fins el 1915 i de nou en 1921-29. Tot i que ben aviat des tacà com a director d’òpera, no descurà mai el conreu del repertori simfònic i entre el 1928 i el 1936 dirigí les dues grans orquestres de Nova York, la Simfònica i la Filharmònica. El 1937 assumí la titularitat de l’orquestra amb la qual gravà la majoria dels discos que en feren un mite, la Simfònica de l’NBC, al capdavant de la qual estigué fins el 1954. És considerat un dels grans directors d’orquestra de tots els temps, i en vida fou vist com l’antítesi de l’estil germànic més genuí, representat per Wilhelm Furtwängler. Mentre que les interpretacions de Furtwängler es caracteritzaven per un fort component subjectiu i per una forta càrrega filosòfica, seguint així la gran tradició romàntica alemanya, l’estil de Toscanini aspirava a la fidelitat envers l’esperit de l’obra i, sobretot, a la lletra, exhibint un gran rigor que, de vegades, feia que el director fos mal entès i titllat d’excessivament objectiu i mancat de sensibilitat. Hi ha qui considera Toscanini poc menys que un excel·lent artesà, fidel reproductor de la partitura i perfeccionista obsessiu, però no un artista de debò. Aquests judicis han fet que durant molts anys els partidaris d’un músic i l’altre formessin dos bàndols irreconciliables. Tot i això, la gran quantitat de gravacions de tots dos rescatades de l’oblit, presentades moltes vegades en excel·lents condicions tècniques i degudament restaurades, han descobert dues maneres diferents d’entendre la música en les quals tothom pot trobar virtuts i motius d’interès, sense necessitat de prendre partit per l’una en detriment de l’altra. Com a mostra d’això es pot esmentar dos grans directors com Herbert von Karajan i Georg Solti, tots dos amb un estil que participava alhora del concepte de Toscanini i del de Furtwängler. La transcendència posterior de Toscanini ha estat considerable, ja que fou el primer que atorgà una gran importància al rigor interpretatiu i a la fidelitat a l’obra i a l’estil del compositor, sense negar la capacitat de l’intèrpret d’esdevenir un creador, en un temps en què es privilegiava la subjectivitat i en què sovint aquests no respectaven les intencions del compositor fent talls a les obres i, fins i tot, introduint-hi canvis.