De formació fonamentalment autodidàctica, arribà a tocar la viola en l’Orquestra Filharmònica de Berlín entre el 1907 i el 1910, però deixà aquesta activitat per a estudiar amb A. Schönberg durant dos anys. El mestratge s’interrompé quan Schönberg realitzà la gira de l’estrena mundial del seu Pierrot Lunaire. A partir de llavors, Scherchen inicià una brillant carrera com a director, durant la qual dirigí diverses orquestres, però rarament arribà a establir-hi una relació duradora. Així, passà per la Simfònica de Riga (1912), la Grotrian-Steinweg de Leipzig (el mateix any), la Ràdio de Frankfurt (1923) i d’altres. Hi hagué tres excepcions: l’Orquestra de Winterthur, que dirigí regularment entre el 1922 i el 1947, l’Orquestra de la Ràdio de Zuric, que el tingué com a titular entre el 1944 i el 1950, i l’Orquestra Ars Viva, que ell mateix fundà el 1939. També fundà i dirigí diverses revistes musicals, com les berlineses "Neue Musikgegellschaft" (1919) i "Melos" (1920), i "Música Viva" (1933), fundada a Brussel·les. Dedicat així mateix a la composició i a la docència, fou un prestigiós mestre de compositors, una tasca que desenvolupà sobretot als Cursos de Darmstadt. El 1954 creà a Gravesano (Suïssa) un institut d’investigacions electroacústiques i la revista musical "Gravesaner Blätter".