Fill del baríton Mack Harrell (1909-1960), estudià amb Leonard Rose a la Juilliard School. L’any 1960 debutà al Carnegie Hall amb la Filharmònica de Nova York. Del 1965 al 1971 fou primer violoncel·lista de l’Orquestra de Cleveland, que dirigia Georg Szell. Des del 1971 desenvolupà una important carrera com a solista. La seva amplíssima discografia inclou les Suites per a violoncel sol de J.S. Bach, els trios per a piano, violí i violoncel de Beethoven i els concerts d’E. Elgar, R. Schumann, A. Dvorák i C. Saint-Saëns. Debutà a la Gran Bretanya l’any 1975 en un concert amb la Simfònica de Londres dirigida per V. Ashkenazy. Paral·lement desplegà una important activitat docent a la Juilliard School de Nova York (1976-86), a la Universitat de Califòrnia del Sud des del 1986 i a la Royal Academy of Music de Londres.