Fill d’una família jueva rural amb pocs recursos econòmics, la seva formació fou bàsicament autodidàctica. Amb tot, combinava, de manera intermitent, el treball al camp amb els estudis a Viena. A la capital austríaca assistí a classes de violí amb L. Jansa i després amb J. Böhm (violí) i G. Preyer (teoria) al conservatori. Després dels incidents revolucionaris del 1848 treballà com a violinista en diversos teatres d’Hongria i Viena. El seu primer èxit com a compositor l’aconseguí el 1860 amb el Quartet de corda, opus 8. A partir de llavors s’introduí en el món musical vienès com a crític i defensor de la música de Wagner, fet que el portà a fundar la Vienna Wagner Verein. Els següents grans èxits foren l’obertura Sakuntala, opus 13 (1865), i la seva primera òpera, Die Königin von Saba ('La reina de Sabà'), començada el 1865 i estrenada al cap de deu anys. La trama de l’obra, una història d’amor bíblica, evidencia la vinculació amb la grand opéra, mentre el seu tractament de l’harmonia mostra la influència rebuda de Wagner. El 1866 fou nomenat membre honorari de Gesellschaft der Musikfreunde a Viena. De la producció de Goldmark, els seus dos concerts per a violí i orquestra són les obres que més s’han mantingut en el repertori de concerts actual.