Es formà al Conservatori de Praga amb V. Talich. Fou assistent musical de Hermann Scherchen, de qui havia estat deixeble a Estrasburg. Inicià la seva carrera com a concertista l’any 1931. Posteriorment s’inicià com a director d’orquestra per al teatre i per a Ràdio Praga, càrrec que hagué d’abandonar arran de la invasió nazi del 1939. El 1942 va ser enviat amb la seva família al camp de concentració de Terezín on, juntament amb altres presos formaren l'Orquestra de Corda de Terezín i es convertí en el seu director. El 1944 va ser traslladat a Auschwitz. Ell sobrevisqué però la seva dona i el seu fill no.
Entre el 1950 i el 1968 fou director de l’Orquestra Filharmònica Txeca, a la qual imprimí un so i un estil pròpiament txec. El 1966 rebé el títol d’Artista Nacional. Realitzà un gran nombre de gires per diferents països d’Europa i Austràlia i el 1969 succeí Seiji Ozawa al capdavant de l’Orquestra Simfònica de Toronto, orquestra que dirigí fins a la seva mort. S’especialitzà en un repertori que abastà del Classicisme vienès fins a I. Stravinsky, tot incloent-hi peces de compositor txecs.