John McLaughlin commence sa carrière de musicien professionnel au sein des formations de Duffy Power, Graham Bond et Georgie Fame, qui jouent principalement du rhythm and blues. Il enregistre à l'occasion comme musicien de studio pour David Bowie, alors inconnu, mais aussi pour les Rolling Stones.

Avec son vieil ami Jack Bruce, qu'il connaissait depuis l'époque du Graham Bond Organisation, ils enregistrent en 1968 l'album Things We Like, qui ne sera toutefois publié que deux ans plus tard, mais qui lui permet d'aller aux États-Unis.

John enregistre son premier album, Extrapolation, en 1969 en compagnie du saxophoniste John Surman, du bassiste Brian Odges et du batteur Tony Oxley. C'est un album de jazz où McLaughlin présente déjà une certaine originalité en tant que compositeur.

À la demande de Tony Williams, il s'installe aux États-Unis en février 1969 afin de rejoindre le nouveau groupe du batteur, The Tony Williams Lifetime, qui comprend en outre Larry Young à l'orgue.
L'enregistrement de l'album In a Silent Way de Miles Davis marque un tournant dans sa carrière. Il devient un acteur essentiel du jazz-rock naissant, dans lequel il joue un rôle considérable.

En mars 1969, il rencontre Jimi Hendrix lors d'une jam session au Record Plant avec Dave Holland à la basse et Buddy Miles à la batterie. Des longues heures de jam évoquées dans les différents témoignages de la rencontre, il ne reste (à ce jour) qu'une demi-heure enregistrée. Celle-ci est constituée d'une jam autour du thème Driving South d'une dizaine de minutes où les deux hommes alternent les soli, d'un blues d'un peu plus d'un quart d'heure puis de quelques tentatives de mises en place informelles lors des dernières minutes.

John enregistre ensuite Emergency!, le premier album du Tony Williams Lifetime puis l'album Bitches Brew, de Miles Davis, deux albums majeurs du jazz-rock naissant.

Avec les mois, l'influence de Jimi Hendrix sur son jeu devient plus importante. Il utilise désormais divers effets rapprochant son timbre des musiciens de rock. En février 1970, il enregistre son deuxième album solo, Devotion produit par Alan Douglas, un proche de Hendrix, en compagnie de Buddy Miles, le batteur de Band of Gypsys, de Larry Young et de Billy Rich. Le terme jazz-rock prend ici tout son sens : McLaughlin mélange en effet les harmonies du jazz moderne avec le son et les rythmes de la musique rock.

Turn It Over, le second album du Tony Williams Lifetime (alors rejoint par Jack Bruce) et A Tribute to Jack Johnson, le manifeste rock de Miles Davis confirme l'évolution du guitariste. Il fait aussi une apparition remarquée sur le triple album Escalator over the Hill de Carla Bley en compagnie de Jack Bruce et Paul Motian.

En 1971, Alan Douglas produit My Goal's Beyond , un album où McLaughlin joue de la guitare acoustique. Une face de l'album montre l'attirance du guitariste pour les musiques extra-occidentales. En compagnie de Jerry Goodman, David Liebman, Charlie Haden, Billy Cobham, Airto Moreira et Badal Roy, il grave deux longues plages modales préfigurant les fusions que le jazz ne cesse ensuite de développer avec les musiques du monde dans les années qui suivent.