Essencialment autodidacte, durant els anys seixanta col·laborà amb músics de rock de Londres, com ara Mick Jagger i Eric Clapton. El 1969 s’instal·là als Estats Units, on entrà al grup Lifetime de Tony Williams. El mateix any inicià la seva col·laboració amb Miles Davis i enregistrà In a Silent Way i Bitches Brew. El 1971 fundà la Mahavishnu Orchestra, que fonia jazz, rock i música hindú. Durant la segona part dels setanta se centrà en el grup Shakti, on tocava la guitarra acústica. Més endavant feu molts concerts amb duo o trio de guitarres, especialment amb Paco de Lucía. A part del seu virtuosisme, la importància de McLaughlin rau en la diversitat de les seves influències.