Кониц учился в колледже Рузвельта, где начал играть с местными ансамблями. Свою профессиональную карьеру он начал в 1945 году с группой Тедди Пауэлла, затем было сотрудничество с Джерри Уолдом. Кониц стал известным после своего участия в оркестре Клода Торнхилла, где обратил на себя внимание своими со льными импровизациями. В 1948 году Кониц присоединился к оркестру Майлза Дэвиса «Capitol Band». Совместные выступления с Майлсом Дэвисом и Джилом Эвансом стали основой нового стиля, который получил название «Прохладный джаз». Также он сотрудничал с Лени Тристано, Джилом Эвансом и Уорном Маршем.
В 1952 году Ли Кониц выступал в Торонто, после был в составе джазового коллектива под управлением Стэна Кентона, в качестве концертмейстера группы саксофонов.. Кониц помогает Кентону записать его знаменитый альбом «New Concepts of Artistry in Rhythm». В 1953 году Ли работает совместно с Джерри Маллиганом. В 1954 году Кониц создает со бственный ансамбль, выступая в Бостоне и Нью-Йорке.
В 1956 году Ли Кониц отправляется в совместное турне по Европе с Гансом Колером, Ларсом Галином и Зутом Симсом. Долгое время он живет в Южной Германии, где выступает с местными исполнителями, а к началу 1960-х годов на некоторое время полностью отходит от музыки. После он играл с Биллом Эвансом в стиле «фри-джаз», а также сотрудничал с Джо Хендерсоном, Джимом Холлом, Эдди Гомезом и многими другими. В конце 1970-х годов Кониц возглавил знаменитый «Нонет». В 1980-х годах он создал собственный коллектив и записывался на различных музыкальных фирмах.
Ли Кониц за всю свою му зыкальную карьеру выпустил более 150 джазовых альбомов. В своих записях он охватывает очень широкий диапазон музыкальных направлений, от «кул-бопа» до свободных философских импровизаций. В записях он использовал и тенор-, и сопрано-саксофон, но предпочтение всегда отдавал альту. Его альбом «The Lee Konitz Duets», записанный в 1967 году с различными музыкантами называют классикой джаза.
В 1992 году Ли Кониц получает самую престижную джазовую награду, своего рода «джазовую Нобелевская премию», – датскую премию «Джазпар». Его называют единственным джазовым саксофонистом, который не попал под влияние знаменитого Чарли Паркера