Començà a estudiar música a cinc anys i quan en tenia setze ingressà al Conservatori de Moscou, on fou deixeble de Jakov Flier. El 1971 fou guardonat al Concurs Bach de Leipzig i el 1975, any en què acabà els estudis, guanyà el Concurs Long-Thibaud de violí i piano a París. Aquest fet afavorí la seva projecció internacional i a partir d’aquell moment inicià una destacada carrera concertística, sobretot a les ciutats més importants de l’antiga Unió Soviètica i de l’Europa de l’Est. El 1976 s’establí a París i adoptà la nacionalitat francesa. Molt estimat pels directors per la claredat del seu estil interpretatiu, ha excel·lit en l’execució de música contemporània, especialment de l’obra d’Olivier Messiaen. El 1977, a París, amb motiu del norantè aniversari de Marc Chagall, Rudy interpretà el Triple concert per a piano, violí i violoncel de L. van Beethoven amb el violoncel·lista M. Rostropovič i el violinista I. Stern. El 1989 feu una gira per Rússia i el 1991 enregistrà el Concert per a piano i orquestra número 1, de P.I. Cajkovskij, i els concerts per a piano de l’1 al 4 de S. Rakhmaninov.