De petit estudià a Sant Petersburg (1900-07) i el 1907 s’establí a Nova York. Les seves primeres obres daten del 1913 -quan escriví Wild Men’s Dance, per a piano- i foren considerades molt innovadores. Com a pianista, debutà a Londres el 1914 i fou considerat un intèrpret virtuós de la música contemporània. Introduí la música d’A. Schönberg als Estats Units. Es retirà de la vida de concertista el 1922 i es dedicà a l’ensenyament. Des del 1924 feu classes de piano a l’Acadèmia de Música de Filadèlfia, ciutat on més tard fundà l’Ornstein School of Music. Es jubilà el 1953. El seu catàleg és compost per obres orquestrals, de cambra i per a piano. Destaquen la Sonata per a violí, opus 31, i les sonates número 7 i 8, per a piano.