Estudià al Trinity College de Cambridge. Després de graduar-se, tornà a Londres, on debutà el 1952 al capdavant d’una orquestra fundada per ell. El 1958 debutà al Covent Garden i aquest any s’incorporà com a professor al Trinity College, on exercí fins el 1968. El 1960 fou un dels cofundadors de l’English Chamber Orchestra, una de les principals formacions en el camp de la música barroca, i que dirigí molt sovint; fou també notable la seva tasca en l’edició, l’enregistrament i la difusió de la música d’aquest període.
Destacà sobretot amb la interpretació de l’obra de Claudio Monteverdi (L’incoronazione di Poppea, interpretada al Festival de Glyndebourne del 1960, Il ritorno di Ulisse in patria, Orfeo), Cavalli (La Calisto), Rameau, Gluck, Händel i d’altres. També feu incursions en el repertori clàssic (Haydn) i contemporani (Billy Budd, de B. Britten). Els anys 1973-80 dirigí la BBC Northern Symphony Orchestra, al mateix temps que actuava com a clavecinista. Des del 1969 dugué a terme gran part de la seva activitat als Estats Units, on del 1987 al 2001 fou director de la Indianapolis Symphony Orchestra. El 2003 es nacionalitzà nord-americà.
Entre altres distincions, rebé el títol de comanador de la República Italiana (1973) i el de comanador de l’orde de l’Imperi Britànic (1983).