Començà la seva carrera professional a 16 anys. De formació bàsicament autodidàctica, als seus inicis rebé la influència de Django Reinhardt. Als anys seixanta tocà a Londres amb músics de rock com Jack Bruce, Mick Jagger i Eric Clapton. L’any 1969 viatjà i s’instal·là als EUA, on ingressà al grup Lifetime de Tony Williams, i el mateix any col·laborà en diversos enregistraments amb Miles Davis (In a Silent Way i Bitches Brew), amb els quals fou un dels iniciadors del jazz-rock.
El 1971 formà el seu propi grup, la Mahavishnu Orchestra, en la qual barrejà elements de cultures diverses, sobretot jazz, rock i música hindú. Durant la segona part dels setanta se centrà en el grup Shakti, on tocava la guitarra acústica.
Més endavant feu molts concerts amb duo o trio de guitarres, especialment amb Paco de Lucía i Al di Meola. A part del seu virtuosisme, la importància de McLaughlin rau en la diversitat de les seves influències.