El seu pare, fotògraf i violinista afeccionat, li impartí les primeres lliçons de música. Els extraordinaris dots musicals que mostrà des de petit feren que la seva família es traslladés a Moscou per tal que hi pogués continuar els estudis. Fou deixeble de Leopold Auer al Conservatori de Moscou, on es diplomà l’any 1948. A disset anys debutà a Moscou i actuà en diverses ciutats de la Unió Soviètica. Encara que havia guanyat alguns concursos a Rússia, la seva carrera internacional es desenvolupà arran de l’obtenció del primer premi del Concurs Reina Elisabet de Bèlgica (1951) i debutà als EUA l’any 1958. Fou professor del Conservatori de Moscou des del 1963. Amb el pianista Emil Gilels —germà de la seva dona, Elisabeth— i Mstislav Rostropovič formà un trio de gran èxit, que enregistrà obres de cambra de L. van Beethoven i G. Fauré. En la discografia de L. Kogan destaquen també els concerts per a violí de P.I. Cajkovskij, S. Prokof’ev, D. Šostakovič i A. Khačaturjan. Morí prematurament en un accident ferroviari. El seu fill Pavel és també un famós violinista i director.