Nascut en el si d’una família de músics, estudià a la seva ciutat natal, on fou deixeble de K. Gerock (orgue) i de J.N. David (composició). En 1952-55 es formà com a director de cor a la Musikhochschule de Stuttgart al costat de H. Grischkat, i amplià els seus coneixements a Roma i Siena.
El 1954 fundà un cor d’estudiants, el Gächinger Kantorei, posteriorment professionalitzat i amb el qual ha realitzà diverses gires internacionals. Del 1963 al 1966 treballà a Berlín com a director de cor de l’Spandauer Kantorei i com a professor a l’Spandau Kirchenmusikschule.
El 1965 es feu càrrec de la direcció del Bach Collegium de Stuttgart. Al capdavant d’aquesta formació, especialitzada en l’obra de J.S. Bach, dugué a terme nombrosos concerts, en els quals interpretà les grans obres corals d’aquest compositor, i també enregistrà fonogràficament la integral de les seves cantates.
El 1969 es traslladà a la Universitat de Música i Arts Escèniques de Frankfurt, on impartí classes de direcció coral. Molt implicat amb la docència, el 1981 fundà la Internationale Bachakademie Stuttgart, entitat que dirigí fins al 2013; el 2001 fundà el Festival Ensemble Stuttgart, per a joves músics, i el 2004 assumí tasques de direcció artística i docència al Toronto Bach Festival. El 2011 creà el Junges Stuttgarter Bach Ensemble, destinat a la formació de joves intèrprets.
El 1990 fou nomenat president de la Neue Bachgesellschaft (Nova Societat Bach), una de les institucions més importants dedicades a l’estudi i difusió de l’obra de Bach. El 1995 dirigí el Messiah, de G.F. Händel, en el marc dels concerts de la temporada musical de la Fundació ’la Caixa’, a Barcelona. Fou titular de l’Orquestra Reial Filharmonia de Galícia (1996-2000).
Amb motiu de l’Any Bach 2000 impulsà el projecte Passion 2000, encarregant noves passions a compositors contemporanis com S. Gubaidulina, T. Dun, O. Golijov i W. Rihm, iniciativa que tingué una gran repercussió internacional. Tot i que es distingí pels enregistraments de música de Bach, cal destacar també els d'altres músics barrocs o romàntics com J. Brahms, o de músics contemporanis com el Credo de K. Penderecki, que li valgué un Grammy el 2001.
Membre honorari de l’American Academy of Arts and Sciences (2003), el 2011 rebé el Herbert-von-Karajan-Musikpreis, l’Echo Klassik per la seva trajectòria, el 2013,i el 2014 la Gran Creu del Mèrit amb Estrella de la República Federal Alemanya.