Fill del també director Erich Kleiber. Estudià música a Buenos Aires, on la seva família s’havia refugiat el 1935 per enfrontament al règim nazi. Quan tornaren a Europa, continuà estudiant música, però alternà la seva formació musical amb estudis de química a Zúric. El 1953 debutà com a director d’òpera al Theater am Gärtnerplatz de Múnic. Posteriorment es presentà a les òperes de Düsseldorf i Duisburg (1958-64), Zúric (1964-66), Stuttgart (1966-68) i Múnic (1968). Entre 1974 i 1976 dirigí a Bayreuth i al Teatro alla Scala de Milà, i del 1968 al 1978 fou director invitat de la Staatsoper de Múnic. Posteriorment no acceptà cap càrrec de direcció permanent.
Destacà pel perfeccionisme i el gran nivell de la seva direcció, i també per un caràcter reclusiu i a vegades excèntric. Una de les seves produccions més reconegudes fou la direcció de Der Rosenkavalier, de R. Strauss, a l’Òpera de Viena, el 1994. Debutà al Metropolitan de Nova York el 1987, i els anys 1989 i 1992 dirigí el tradicional concert d’Any Nou de l’Orquestra Filharmònica de Viena.
Enemic de les aparicions públiques, sempre mesurà el seu repertori, tot i haver-se convertit en un dels directors més apreciats de la seva generació, amb actuacions arreu del món i pocs, però sempre reconeguts, enregistraments fonogràfics, especialment els realitzats amb la Filharmònica de Viena. El 1994 dirigí una reeixida producció d’El cavaller de la rosa a l’Òpera de Viena, i el 1999 es presentà a Las Palmas i a València amb l’Orquestra Simfònica de la Ràdio Bavaresa.