Començà estudiant clarinet, però de seguida s’interessà pel saxo alt, instrument amb el qual desenvolupà tota la seva trajectòria. Professional des del 1945, col·laborà amb Jerry Wald i després entrà a formar part de l’orquestra de Claude Thornhill (1947). La seva influència principal d’aquests anys, tanmateix, fou la del pianista Lennie Tristano, del qual fou deixeble i amb el qual enregistrà diversos àlbums. Adoptà la seva concepció musical, que més tard rebé el nom de cool-jazz, prioritzant la introspecció i un cert intel·lectualisme, oposat a l’agressivitat i l’emotivitat del bop. Enfront de la figura dominant de Charlie Parker, cultivà un so més suau, amb menys harmònics i sense vibrato. Per aquestes característiques Miles Davis l’afegí a les sessions dels anys 1949-50 que donaren lloc a l’àlbum Birth of the Cool (1957), fita del nou estil.
L’any 1950 publicà el primer disc sota el seu nom, Subconscious-Lee, i el 1951 s’uní a la big band de Stan Kenton. A partir del 1954 dirigí els seus propis grups. Després d’uns quants anys allunyat de la música a l’inici de la dècada de 1960, retornà amb una activitat prolífica tant als concerts com a la producció discogràfica. Tocà amb una gran quantitat d’intèrprets d’estils molt diferents i sovint en duo, entre d’altres Gerry Mulligan, Charles Mingus, Martial Solal, Jim Hall i Ornette Coleman. Dins d’un estil propi, mostrà sempre un constant esperit de recerca i d’innovació. Des de mitjan anys setanta dirigí un nonet de manera intermitent. En l’etapa més tardana de la seva carrera, destacaren els grups que liderà integrats per Brad Mehldau (piano) i Charlie Haden (baix).
Publicà més d’un centenar de discs sota el seu nom, entre els quals es poden esmentar Motion (1961), The Lee Konitz Duets (1967), Lone-Lee (1974), Oleo (1975), The Lee Konitz Nonet (1975) i GRACEfulLEE (2008), i col·laborà com a acompanyant amb molts altres intèrprets. Influí en un gran nombre de saxos alts, com Art Pepper i Paul Desmond, i tingué un paper molt important en l’aparició del jazz europeu la dècada de 1950.