Es formà amb Jenö Hubay (violí) i Zoltan Kodály (composició) a l’Acadèmia de Música Ferenc Liszt de Budapest. Durant la dècada dels anys vint començà la seva carrera internacional. L’any 1928 fixà la residència a Bèlgica. Entre el 1925 i el 1938 tocà sovint al costat del seu amic Béla Bartók, de qui estrenà algunes obres. Fundà el Quartet Gertler, que estigué actiu entre el 1931 i el 1951. Fou nomenat professor del Conservatori de Brussel·les (1940) i, posteriorment, de la Hochschule de Hannover. L’any 1967 fou guardonat amb el Grand Prix du Disque per l’enregistrament de l’obra completa per a violí de Béla Bartók. Fou també un dels intèrprets més famosos del Concert per a violí d’Alban Berg, que enregistrà amb la Philarmonia Orchestra dirigida per Paul Kletzki.