Estudià al Conservatori Stern de Berlín decidit a fer carrera com a pianista, però finalment optà per la direcció d’orquestra, i debutà a l’Òpera de Colònia el 1894. El 1901 entrà com a assistent de G. Mahler a l’Òpera de Viena, on treballà fins el 1912. L’any 1911 es naturalitzà austríac i canvià el seu cognom original -Schlesinger- per Walter. Entre el 1913 i el 1922 fou director musical de l’Òpera de Munic, i posteriorment passà a l’Òpera de Berlín (1925-29) i a l’Orquestra de la Gewandhaus de Leipzig (1929-33). Fugint de la guerra, el 1939 s’establí als Estats Units, on fou titular de la Filharmònica de Nova York entre el 1947 i el 1949. Dirigí també altres grans orquestres nord-americanes, i fou considerat un dels gran intèrprets del repertori simfònic clàssic i romàntic, a més d’un especialista en l’obra de G. Mahler, de qui publicà una biografia. Fou així mateix compositor, però el seu prestigi dins la història de la música rau en el seu art interpretatiu, magnífic exemple de la gran tradició germànica.