Estudià música als conservatoris de Boston i Leipzig. Com a crític escriví en les principals publicacions especialitzades, entre les quals "Vox humana" i "Musical Herald". Fou editor del "Boston Courier" i, des del 1888, del "Boston Daily Advertiser". Fou redactor en cap de la University Encyclopaedia of Music. El 1882 va ser nomenat cap del Departament de Teoria al Conservatori de Nova Anglaterra, on treballava des del 1880. Exercí la docència en diferents colleges de la mateixa ciutat. El seu fill, Arthur Elson (1873-1940), escriví i edità diversos llibres sobre música i col·laborà en el Diccionari de Biografies Americanes amb articles sobre personatges del món de la música.