Es formà al Royal College of Music de Londres i a Oxford i amplià els seus coneixements a París, Berlín i Munic. Després d’una estada a Nova York l’any 1905, on exercí d’organista i director de cor a l’església de Saint Bartholomew, el 1909 debutà com a director amb la New Symphony Orchestra, al Queen's Hall a Londres. Aquell mateix any tornà als Estats Units i es feu càrrec de l’Orquestra Simfònica de Cincinnati, que dirigí fins al 1912. Aquest any es posà al capdavant de l’Orquestra de Filadèlfia, i es mantingué en el càrrec durant trenta anys. Fou cotitular, juntament amb A. Toscanini, de l’Orquestra Simfònica de l’NBC (1941-49); posteriorment dirigí l’Orquestra Filharmònica de Nova York (1949-50). El 1953 fundà la Societat de Música Contemporània de Nova York. Des del 1962 fou director musical de l’American Symphony Orchestra de Nova York. Obert a la música contemporània, estrenà a Amèrica Wozzeck d’A. Berg.
Intèrpret polèmic, subjectiu i capriciós, fou considerat un virtuós de la direcció i arribà a ser molt popular gràcies a la seva participació en la producció i difusió de la música de diverses pel·lícules, la més famosa de les quals fou Fantasia, de Walt Disney.
Destacà com a intèrpret del gran repertori clàssic i romàntic, en els originals del qual efectuà alguns canvis que li valgueren moltes crítiques. Escriví nombrosos arranjaments d’obres alienes, tan poc respectuosos, heterodoxos i personals com espectaculars i, indiscutiblement, brillants. El 1974 deixà l’activitat concertística per dedicar-se exclusivament als enregistraments discogràfics.