Començà la seva carrera professional a 16 anys. De formació bàsicament autodidàctica, als seus inicis rebé la influència de Django Reinhardt. Als anys seixanta tocà a Londres amb músics de rock com Jack Bruce, Mick Jagger i Eric Clapton. L’any 1969 viatjà als EUA, on ingressà al grup de Tony Williams Lifetime i col·laborà en diversos enregistraments amb Miles Davis, amb els quals fou un dels iniciadors del jazz-rock.
El 1971 formà el seu propi grup, la Mahavishnu Orchestra, en la qual barrejà elements de cultures diverses, sobretot orientals. Ha fet nombrosos concerts i enregistraments a duo o a trio amb d’altres guitarristes, entre els quals Al di Meola i Paco de Lucía.