Introduí als Estats Units l’obra pianística de Schönberg i fou considerat un intèrpret virtuós de la música contemporània.
De petit estudià al conservatori de Sant Petersburg (1900-07), on se'l considerà un nen prodigi. El 1907 la família emigrà i s’establiren a Nova York, on debutà el 1911.
Compositor autodidacte, les seves primeres composicions daten del 1913 —quan escriví Wild Men’s Dance, per a piano— i foren considerades molt innovadores. El 1914, debutà a Londres interpretant obres de Schönberg i seves, que no foren ben valorades.
Es retirà de la vida de concertista el 1922 i es dedicà a l’ensenyament. Des del 1924 feu classes de piano a l’Acadèmia de Música de Filadèlfia, ciutat on més tard fundà l’Ornstein School of Music. El 1935 es retirà i es dedicà exclusivament a la composició.
Les seves obres provocaren un cert escàndol pel seu agosarament politonal i polirítmic. El seu catàleg és compost sobretot d'obres per a piano, però també inclou obres orquestrals, de cambra i per a veu. Destaquen À la chinoise. Impressions of Chinatown (1917), 20 Waltzes (1955-68), Tarantella (1958) i les sonates número 7 i 8, totes per a piano, la suite Lysistrata (1933) i la Sonata per a violí, opus 31.