Настоящее имя Джима Дэвиса — Марлин Дэвис, он родился в Эджертон, штат Миссури и начал сниматься в вестернах с начала сороковых годов. Его первая главная роль была в мелодраме 1948 года «Зимняя встреча» с Бетт Дэвис. Последующие два десятилетия он снимался в различных кино и теле вестернах, а также редко снимался в фильмах других жанров, самый значимый из которых триллер Уоррена Битти «Заговор «Параллакс»» (1974).
В 1978 году он начал сниматься в телесериале «Даллас». Во время съемок четвёртого сезона сериала ему был поставлен диагноз — миеломная болезнь, но актёр продолжал сниматься в шоу вплоть до смерти. Когда болезнь прогрессировала, во многих сценах он в основном сидел и не двигался и носил парик, чтобы скрыть потерю волос из-за химиотерапии. Когда состояние Дэвиса резко ухудшилось продюсеры решили вывести его персонажа из сериала, отправив в поездку. Продюсеры не хотели сразу убивать героя так как планировали найти другого актёра на эту роль. Тем не менее они пришли к общему мнению, что нет подходящего актёра, который смог бы заменить Дэвиса и уже после его смерти, спустя тринадцать эпизодов, убили его за кадром в авиакатастрофе.
За свою роль в «Далласе», Дэвис был посмертно номинирован на премию «Эмми» в 1981 году. Дэвис был похоронен на кладбище Форест-Лаун.
За свой вклад в кино Джим Дэвис удостоен звезды на Голливудской аллее славы.