Родился Джонс в Буффало, штат Нью-Йорк, в семье искусствоведа Рут Скули, которая и побудила Джеффри податься в киноискусство, и Дугласа Беннетта Джонса, который умер, когда Джонс был ещё ребёнком. В 1969 году Джонс поступил в Лондонскую академию музыки и театрального искусства, после окончания которой последовало три года работы во Стратфордском театре, в Онтарио.
Свои первые небольшие роли в кино и на телевидение Джонс сыграл в конце 1970-х годов. Затем последовала роль второго плана в фильме Родни Денджерфилда «Легкие деньги». Короткое появление Джеффри в сериале «Ремингтон Стил» помогло ему получить роль Императора Джозефа II в фильме «Амадеус» (хотя первоначально эта роль предназначалась Яну Ричардсону). Роль императора была достойным образом вознаграждена - за неё Джонс получил награду «Золотой глобус» в номинации «Лучший актёр второго плана» в художественном фильме.
Дальше был персонаж мистер Эдвард Руни, декан в картине «Выходной день Ферриса Бьюлера», сделавшей актёра настоящим кумиром. Самоуверенный Руни, одержимый стремлением поймать заядлого прогульщика Ферриса Бьюлера, стал символом напыщенности ненависти к сторонникам авторитарной власти.
Вскоре Джонс стал любимцем режиссёра Тима Бартона, который снял актёра в фильмах «Битлджус», «Эд Вуд» и «Сонная Лощина». Также Джеффри снялся в таких выдающихся картинах, как «Ханой Хилтон», «Охота за «Красным октябрем», «Говард утка», «Адвокат Дьявола» и «Стюарт Литл». В фильме «Вредитель» Джонс сыграл ключевую роль. Очередными главными ролями для Джеффа стали роль мистера Спайка в фильме «Оставайтесь с нами» и роль Дика Нельсона в комедии 1992 года «Мама и папа, спасите мир».
У Джонса есть сын - актёр и кино-продюсер Джулиан Куттс.