La seva família es traslladà a Pest quan ell encara era un infant i aviat començà els seus estudis de violí. Els seus ràpids progressos li permeteren, a l’edat de set anys, fer el primer concert. El 1839 s’inscriví al Conservatori de Viena, on fou alumne de M. Hauser, G. Hellmesberger i J. Böhm. El 1843 es traslladà a Leipzig per estudiar amb F. Mendelssohn, M. Hauptmann i F. David, i aquell mateix any debutà amb la Orquestra del Gewandhaus, d'aquesta ciutat. El 1844 debutà a Londres amb el concert per a violí de Beethoven sota la direcció de Mendelssohn. El 1850 fou nomenat primer violí a Weimar sota la direcció de F. Liszt. El 1869 fundà el Quartet Joachim que assolí una gran fama per tot Europa.
Com a violinista està considerat com un dels més destacats i influents del segle XIX. Col·laborà sovint amb Mendelssohn, Liszt i Brahms, que li dedicaren alguns concerts. Brahms rebé d’ell, en nombroses ocasions, consells tècnics per a les seves obres per a violí i de música de cambra. Entre les seves composicions cal destacar el Concert per a violí i orquestra número 3 —en el qual es fa evident la influència de Mendelssohn, Schumann i Liszt—, així com cadències i arranjaments d’obres d’A. Corelli, J.S. Bach, F. Schubert i J. Brahms, entre d’altres.
Sobresortí així mateix per les seves qualitats didàctiques. Del 1869 fins a la seva mort ocupà el càrrec de director de la Hochschule für Ausübende Tonkunst de Berlín que, sota la seva direcció, es convertí en una de les escoles més prestigioses d’Europa.