La seva infantesa a la Rússia meridional li donà ocasió d’entrar en contacte amb la música popular d’aquella zona. Rebé les primeres lliçons de música dins l’àmbit familiar i el 1868, quan es traslladà amb els seus pares a Leipzig, ingressà al conservatori d’aquesta ciutat. Estudià piano amb I. Moscheles, teoria amb H. Richter i composició amb C. Reinecke. El 1874 ingressà a l’Institut Imperial de Senyoretes de l’Aristocràcia a Kharkiv, on fou professor de música, i el 1878 fou nomenat director d’estudis teòrics de la Societat Imperial Russa a la zona de Kharkiv. Gràcies a una recomanació de J. Brahms, a partir del 1883 fou professor al Conservatori de Frankfurt, on impartí classes de piano, composició i altres assignatures teòriques. Entre els seus alumnes destacaren Cyril Scott, Hans Pfitzner i Ernst Toch. El 1908 succeí a Bernhard Scholz en la direcció d’aquesta institució. El 1911 fou nomenat membre honorari de l’Acadèmia Filharmònica de Nova York. Amb el pseudònim d’I.O. Armand publicà llibres de teoria, exercicis d’harmonia i fuga i anàlisis d’obres de J.S. Bach, J. Brahms i P.I. Cajkovskij. La dedicació a la docència i un fort esperit autocrític feren que la seva producció fos més aviat reduïda. Les seves obres revelen la influència del folklore ucraïnès. Juntament amb Max Reger es troba entre els grans mestres del contrapunt i la fuga de l’època. Compongué òperes, música orquestral, coral, de cambra, cançons i peces per a instrument sol, especialment piano i violoncel.