A vuit anys ingressà al Conservatori de Nova York, on fou deixeble d’A. Dvorák. Entre els anys 1899 i 1909 tocà a l’orquestra del Metropolitan, i el 1911 formà la seva pròpia banda, esdevinguda cèlebre a partir del 1918 i considerada modèlica pel rigor i la professionalitat dels músics integrants. Recuperà molta música per a banda que havia estat arraconada o que havia caigut en l’oblit. Dirigí l’estrena a Amèrica de la Grande symphonie funèbre et triomphale, opus 15, de Berlioz (1947). Compongué un centenar de peces per a banda i fundà l’American Bandmaster’s Association. El seu fill Richard Franko Goldman (1910-1980) continuà la seva tasca com a director de la banda que el seu pare havia fundat.