Començà a estudiar amb el seu pare a l’edat de quatre anys, i als sis oferí el seu primer recital a la Universitat de París. El 1962 la família es traslladà a Nova York, on estudià amb Janos Scholz i Leonard Rose a la Juilliard School. El 1963 participà en un programa de televisió sota la direcció de Leonard Bernstein i durant dos anys seguits en el programa Isaac Stern i els seus amics al Carnegie Hall. El 1976 es graduà per la Universitat de Harvard.
Intèrpret dotat d’una gran tècnica i capacitat d’assimilació, ha sobresortit tanmateix pel seu eclecticisme, molt superior al de la majoria d’instrumentistes clàssics: a més de solista acompanyat de grans orquestres i d’una intensa dedicació a la música de cambra, especialment notable per la col·laboració amb el pianista Emanuel Ax, des dels anys noranta afegí al repertori clàssic incursions en gèneres molt diversos, en general més populars.
En són mostres diversos enregistraments discogràfics, entre els quals cal destacar Soul of the Tango (1997), amb música d'Astor Piazzolla; Obrigado Brazil (2003), amb música brasilera; Yo Yo Ma plays Ennio Morricone (2005), amb obres d’aquest compositor cinematogràfic, i tres importants apropaments a la pràctica historicista acompanyat de l’Amsterdam Baroque Orchestra, dirigida per Ton Koopman: Simply Baroque (1999), Simply Baroque II (2000) i Vivaldi's Cello (2004), entre molts altres. És també autor de diverses composicions.
El 1985 rebé el primer Grammy pel seu enregistrament de les Suites per a violoncel de Bach. Posteriorment i fins el 2010 rebé setze vegades més aquest guardó en diverses categories. L’any 1998 la revista musical Grammophone l’anomenà Artist of the Year i rebé dos premis Emmy pel treball multimèdia Inspired by Bach, en què interpretà les Suites per a violoncel sol de Bach, i en el qual col·laboraren, entre d’altres, el director de cinema Atom Egoyan i el coreògraf Mark Morris. Ha rebut també honors d’estat dels EUA: la Medalla Nacional de les Arts (2001) i la Medalla Presidencial de la Llibertat (2011). L’any 2012 rebé el Premi Polar de Música, que compartí amb Paul Simon.