Molt precoç, a onze anys fou admès a l’Acadèmia Ferenc Liszt de Budapest i posteriorment fou alumne de l’Acadèmia de Música de Viena. Començà la carrera professional com a primer violoncel de l’Orquestra Filharmònica de Budapest i de l’Òpera de Budapest. A causa del seu origen jueu, durant la Segona Guerra Mundial fou internat en un camp de concentració. L’any 1947 emigrà a París, on el seu enregistrament de la Sonata per a violoncel, de Zoltan Kodály, guanyà el Grand Prix du Disque i el projectà a la fama. El 1948 anà als Estats Units, on fou primer violoncel de l’Orquestra de Dallas sota la direcció d’Antal Doráti. Posteriorment passà a l’Orquestra del Metropolitan (1949-52) i, finalment, a l’Orquestra Simfònica de Chicago. L’any 1958 fou nomenat professor de la Universitat d’Indiana, on desenvolupà una tasca pedagògica molt rellevant gairebé fins a la fi dels seus dies. Des del final dels anys noranta reduí molt la seva activitat concertística i es concentrà en la docència. Enregistrà més de 160 discos, entre els quals cal esmentar les Suites per a violoncel de Johann Sebastian Bach, del 1997, que li valgué un premi Grammy. Juntament amb Mstislav Rostropovič i Gregor Piatigorsky ha estat considerat el principal violoncel·lista de la generació posterior a la de Pau Casals. Les seves interpretacions destacaren per la sobrietat i la contenció emocional.