De família jueva i modesta, ingressà, gràcies al seu talent precoç, al conservatori de la Societat d’Amics de la Música, de Viena. Bruckner, del qual fou amic, el protegí. A partir del 1880 inicià una carrera de director a diferents ciutats; aviat actuà a Kassel (1883), Praga (1885), Leipzig (1886), Budapest (1888) i Hamburg (1891). Fou nomenat director artístic del Teatre de l’Òpera de Viena (1897-1907), càrrec que finalment dimití. Els seus darrers anys dirigí concerts als EUA, on interpretà el cicle complet de les simfonies de Bruckner i algunes composicions pròpies. El seu catàleg comprèn obres simfòniques i vocals: deu simfonies (1888-1910; la darrera, inacabada) i Das Lied von der Erde (‘El cant de la terra’, 1908); dels seus cicles de cançons amb orquestra es destaquen Lieder und Gesänge aus der Jugendzeit (‘Cançons i cants del temps de joventut’, 1892), Lieder eines fahrenden Gesellen (‘Cançons d’un company viatger’, 1884), Zwölf Lieder des Knaben Wunderhorn (‘Dotze cançons de l’infant del corn meravellós’, 1889) i Kindertotenlieder (‘Cançons dels infants morts’, 1904). El seu Romanticisme tardà el portà a escriure obres simfòniques d’unes grans dimensions, algunes de les quals són per a una gran orquestra, solistes vocals i cors. El seu paper de precursor de la música contemporània es manifesta en els amplis intervals que empra i en les construccions sonores de deu sons simultanis o més. En la seva obra hom troba indicis de l’expressionisme musical de la generació posterior.