Aprengué els rudiments del violí amb el seu pare, membre integrant de l’Orquestra Simfònica de Boston. Més tard es traslladà a Berlín, on estudià amb Willy Hess. El 1915 ingressà a l’Orquestra Simfònica de Boston, primer com a violinista i després com a viola, abans de fundar la Boston Sinfonietta (1924), amb la qual se centrà en un repertori lleuger i de caràcter popular. La faceta popular de Fiedler es desenvolupà amb molta més profusió a partir del 1929, any en què assumí la titularitat dels Boston Pops, formació al capdavant de la qual oferí diversos concerts a l’aire lliure durant l’estiu, cosa que li proporcionà una gran popularitat entre el públic nord-americà del moment. Més endavant, tornà al repertori de concert, mantenint sempre la doble faceta davant d’orquestres més populars.