Fill del baix ucraïnès Alexander Kipnis, estudià a l’Escola de Música de Westport (1941-48) i es diplomà a la Universitat de Harvard l’any 1952. Destacà com a intèrpret de clavecí, forte-piano i piano. Compaginà aquesta activitat amb la crítica musical i la direcció d’una cadena radiofònica de Nova York.
Debutà en un concert radiofònic el 1959, i fins el 1962 no feu la seva primera aparició pública. A partir de llavors inicià una carrera de gran projecció internacional, amb gires per Europa, l’Amèrica del Sud, Israel i Austràlia. Fou professor a Tanglewood en 1964-67 i a la Universitat de Fairfield, Connecticut, en 1971-75 i a la Royal Northern College of Music de Manchester des del 1982. L’any 1975 actuà amb l’Orquestra Filharmònica de Nova York, sota la batuta de Pierre Boulez, amb la qual feu una gira internacional.
La seva discografia, amb més de vuitanta-dos enregistraments, especialment de música barroca, inclou concerts per a clavicèmbal de J.S. Bach i obres per a clavicèmbal de W.A. Mozart. També es distingí per la interpretació d’autors nord-americans del segle XX, com N. Rorem o G. Rochberg.