Fou deixeble del seu germà Emil a Mannheim, i completà la seva formació al Conservatori de Leipzig i al Mozart-Stifftug de Frankfurt. Recomanat per J. Brahms, anà a Viena, on estudià amb G. Nottebohm, i després a Karlsruhe, amb O. Dessoff i V. Lach ner. El 1880 començà a treballar com a assistent a Magúncia, i sis anys més tard, ajudat per H. von Bülow, aconseguí la plaça de professor de contrapunt i composició al Conservatori de Frankfurt. El mateix 1886 fou nomenat kapellmeister de la Meiningen Hofkapelle del duc de Sachsen-Meiningen, moment en què inicià gires per Europa i l’Amèrica del Nord com a director d’orquestra. Fou director convidat de moltes orquestres europees i americanes, i també exercí una important tasca pedagògica en centres com el Conservatori de Colònia. Impulsà la creació de festivals dedicats a Brahms a Baden-Baden, Munic, Wiesbaden, Edimburg i altres ciutats.