Germà del director, pianista i compositor Paul Klengel (1854-1935), nasqué en una família tots els membres de la qual eren músics professionals o aficionats. Estudià violoncel amb Emil Hegar i teoria amb Salomon Jadassohn. Formà part de l’orquestra de la Gewandhaus de Leipzig des que tenia quinze anys. A partir del 1875 alternà la seva activitat en aquesta orquestra amb aparicions com a solista en gires europees, sovint amb el quartet de la Gewandhaus. L’any 1881 fou nomenat professor del Conservatori de Leipzig i primer violoncel de l’orquestra de la Gewandhaus, lloc aquest darrer on romangué fins el 1924. Entre els seus alumnes destacaren Emmanuel Feuermann, Gregor Piatigrosky i Alfred Wallenstein. Compongué diverses obres per a violoncel, com ara quatre concerts, un concert per a violí i violoncel i una suite per a dos violoncels, entre d’altres.