Membre d’una família de contrabaixistes, de ben jove començà a estudiar piano, violoncel i cant, abans de dedicar-se exclusivament al contrabaix. Debutà l’any 1962 dirigit per Leonard Bernstein en un concert amb l’Orquestra Filharmònica de Nova York.
Considerat un dels contrabaixistes més famosos del món, ha estrenat obres del repertori contemporani com el Concert per a contrabaix de H.W. Henze, que també ha enregistrat. El 1984 creà la Karr Doublebass Foundation, on es conserva la seva col·lecció d’instruments, inclòs un Amati del 1611 regalat per la vídua del director Sergey Koussevitzky. La Fundació té com a objectiu millorar la formació dels contrabaixistes i ampliar el repertori d’aquest instrument amb l’encàrrec de noves composicions.