Era cosí del compositor, pianista i director d’orquestra S. Rakhmaninov. Format al Conservatori de Moscou amb N. Rubinstein, el 1883 es perfeccionà a Weimar amb F. Liszt. Entre el 1888 i el 1891 impartí classes de piano al Conservatori de Moscou, i posteriorment es traslladà a França, on es dedicà a fer gires de concerts. En tornar a Rússia, l’any 1903 fundà a Sant Petersburg uns cicles de concerts que divulgaven les obres dels compositors russos del moment, com A. Skr’abin, S. Prokof’ev i I. Stravinsky, en els quals participaren intèrprets tan importants com A. Nikisch, A. Cortot i W. Landowska. El 1919, Ziloti s’establí als Estats Units, on es dedicà a la interpretació pianística, a la direcció i, des del 1926, a la docència del piano a la Juilliard School.