Als tres anys, la seva família retornà a Austràlia (d’on procedien els seus pares). Estudià oboè, piano i composició al Conservatori de Sydney. L’any 1943 obtingué plaça com a oboista a l’ABC Sydney Orchestra, formació de la qual esdevingué oboè solista l’any següent. El 1947 tornà a la Gran Bretanya per prosseguir la seva formació com a director d’orquestra, on aconseguí una beca per a estudiar direcció orquestral a l’Acadèmia de Música de Praga com a deixeble de V. Talich.
En tornar a Anglaterra passà a la Sadler’s Wells Opera, actualment English National Opera, on debutà amb El ratpenat; dirigí aquesta orquestra fins el 1954, i novament en 1970-77 i de la qual fou director musical del 1987 al 1992. Entusiasta de L. Janáček, el 1951 dirigí l’estrena anglesa de Kát’a Kabanová.
Del 1954 al 1956 fou director de la BBC Concert Orchestra. El 1963 actuà al Covent Garden, on dirigí sovint al llarg de les dècades següents, sobretot òperes de G. Verdi, W.A. Mozart i G. Puccini, i després dirigí l’orquestra de l’Òpera d’Hamburg (1966-70) i l’Orquestra Simfònica de Sydney (1982-85). Fou també director invitat de la Royal Philharmonic Orchestra (1993-96) i de la San Francisco Opera (1993-96). Posteriorment fou director musical de la Welsh National Opera (1987–92), amb la qual realitzà nombrosos enregistraments fonogràfics, i de l’Orquestra de Saint Luke (1988-2001).
Rebé, entre altres honors, el títol de sir. Fou un reconegut especialista en Janáček i destacà com a director d’òpera, gènere en el qual participà en molts enregistraments. Fou un precursor del moviment de les interpretacions històriques, dutes a terme amb instruments i orquestració d’època. Destaquen, en aquest vessant, els seus enregistraments de la Música per als reials focs artificials de Händel (1959) i Les noces de Fígaro, de Mozart (1965).