Membre d’una família jueva ucraïnesa emigrada als EUA, rebé les primeres lliçons de violí de Siegmund Anker a San Francisco, quan només tenia quatre anys. A set anys debutà en públic en aquesta ciutat, en un concert dirigit per Alfred Hartz. Es perfeccionà amb Louis Persinger, que havia estat deixeble d’Eugene Ysaÿe. El 1927 debutà a París en els Concerts Lamoureux i rebé lliçons de perfeccionament de George Enescu i A. Busch. Dos anys més tard debutà a Berlín, en un concert dirigit per Bruno Walter. El 1935 participà en una gira per seixanta-tres ciutats diferents, entre les quals Barcelona, donant-se a conèixer arreu. Els dos anys següents els dedicà exclusivament a l’estudi i el perfeccionament de la seva tècnica.
Durant la Segona Guerra Mundial participà en més de 500 concerts en benefici de les forces aliades. Acabada la guerra col·laborà sovint amb Wilhelm Furtwängler.
Fou fundador dels festivals de Gstaad (1956) i de Windsor (1969) i director del festival de Bath (1958-68), etc. El 1982 fou nomenat director titular de la Royal Philharmonic Orchestra. Estrenà obres de B. Bartók, E. Bloch i W. Walton, entre d’altres.
Destacaren també les seves iniciatives humanitàries, en les quals emprà la música com un mitjà per a superar les diferències culturals i polítiques.
Doctor honoris causa per més de trenta universitats del món, el 1963 creà a la localitat anglesa de Stoke d’Abernon una escola per a joves promeses de la música que porta el seu nom i, el 1977, la International Menuhin Music Academy a Gstaad (Suïssa).
Testimoni de la seva carrera és una llarguíssima llista d’enregistraments, sovint amb la seva germana Hepzibah, pianista. Rebé nombrosos guardons i distincions, entre els quals el títol de sir el 1985, any que es nacionalitzà britànic, i el premi Príncipe de Asturias de la Concòrdia (1997). Publicà nombrosos estudis sobre tècnica violinística i la seva autobiografia, sota el títol Unfinished Journey (1977).