La seva família es traslladà a Pest quan ell encara era un infant i aviat començà els seus estudis de violí. Els seus ràpids progressos li permeteren, a l’edat de set anys, fer el primer concert. El 1839 s’inscriví al Conservatori de Viena, on fou alumne de M. Hauser, G. Hellmesberger i J. Böhm. El 1843 es traslladà a Leipzig per estudiar amb F. Mendelssohn, M. Hauptmann i F. David, i aquell mateix any debutà en aquesta ciutat. El 1850 fou nomenat primer violí a Weimar sota la direcció de F. Liszt. El 1869, i fins el 1907, ocupà el càrrec de director de la Hochschule für Ausübende Tonkunst de Berlín que, sota la seva direcció, es convertí en una de les escoles més prestigioses d’Europa. Com a violinista, fou admirat per tot Europa. Actuà com a solista i també com a component del Quartet Joachim. Brahms rebé d’ell, en nombroses ocasions, consells tècnics per a les seves obres per a violí i de música de cambra. Entre les seves composicions cal destacar el Concert per a violí i orquestra número 3, així com cadències i arranjaments d’obres d’A. Corelli, J.S. Bach, F. Schubert i J. Brahms, entre d’altres.