Estudià a la seva ciutat natal amb R. Hol, M.W. Petri i A. Averkamp. Posteriorment amplià la seva formació al Conservatori de Colònia i guanyà diversos premis de piano, composició i direcció orquestral. El 1891 li fou concedida la direcció de l’Orquestra Municipal de Lucerna. Quatre anys més tard dirigí l’Orquestra del Concertgebouw d’Amsterdam, amb la qual treballà durant quasi cinquanta anys. A partir del 1897 dirigí cada any la Passió segons sant Mateu, amb el cor Toonkunst d’Amsterdam. També dirigí a Frankfurt (1907-20) i a Nova York, on entre el 1921 i el 1929 estigué al capdavant de l’Orquestra Filharmònica. Les desavinences amb A. Toscanini, amb qui codirigí l’orquestra durant la temporada 1928-29, l’impulsaren a abandonar Nova York el 1929 i tornà a Amsterdam. El 1945 rebé la prohibició d’actuar a Holanda per les simpaties que havia mostrat cap al règim nazi i es retirà a viure a Suïssa.