El seu pare, Mehli Mehta, fou el fundador de l’Orquestra Simfònica de Bombai. Inicià els estudis de medicina, però aviat abandonà la carrera per dedicar-se exclusivament a la música. Entre el 1954 i el 1960 estudià a l’Acadèmia de Música de Viena i posteriorment amplià la seva formació a Siena i a Tanglewood. Fou deixeble de Hans Swarowsky.
El 1958 guanyà un premi de direcció orquestral a Liverpool i començà a dirigir a Bèlgica i a Iugoslàvia. El 1961 fou contractat com a director associat de l’Orquestra Filharmònica de Los Angeles, de la qual fou director artístic (1961-78). El 1962 dirigí al Festival de Salzburg i el 1965 debutà al Metropolitan de Nova York amb Aïda; posteriorment fou sol·licitat per a dirigir al Teatro alla Scala de Milà. El 1985 se li confià la direcció musical del Maggio Musicale Fiorentino i també dirigí l’Òpera Estatal de Baviera (1998-2006). Entre el 1978 i el 1991 fou director de l’Orquestra Filharmònica de Nova York, des del 1977 ho és de l’Orquestra Filharmònica d’Israel i, entre el 1998 i el 2006, ho fou de la Staatsoper de Múnic. Ha estat director convidat als festivals d’Holanda, Praga, Viena, Salzburg i Spoleto.
El setembre del 2000 inaugurà la desena temporada de concerts Palau 100 al Palau de la Música Catalana de Barcelona, al capdavant de l’Orquestra Filharmònica de Viena. L’octubre del 2006 dirigí l’òpera inaugural del Palau de les Arts Reina Sofia de València, Fidelio de Beethoven, i del 2007 al 2009 s’encarregà també de dirigir el muntatge de La Fura dels Baus de la tetralogia wagneriana. En 2007-14 presidí el Festival del Mediterrani del Palau de les Arts de València.