Estudià a la Juilliard School de la seva ciutat natal amb A. Stroessel i posteriorment amplià la seva formació musical a la Universitat de Colúmbia. Debutà el 1937 i un any després fundà l’Orquestra de Cambra de Nova York. Fou el primer director de raça negra que aconseguí obrir-se un camí en l’àmbit internacional, convidat per diferents orquestres nord-americanes (NBC, Filharmònica de Nova York, Orquestra de Filadèlfia) i europees (Göteborg, Frankfurt), a més de la d’Israel i l’Orquestra Simfònica de Sydney. El 1944 fundà l’American Youth Orchestra. Entre el 1961 i el 1974 exercí el càrrec de director permanent de l’Orquestra de la Ràdio de Frankfurt. Fou un gran difusor de la música nord-americana del segle XX en les seves actuacions a Europa.