Коул родился и вырос в городе Парк-Ридж, Иллинойс, в семье директора школы (отец) и финансового директора (мать). Гэри учился в старшей школе Роулинг Мидоус, где произошёл его дебют в драматургии: в школьной постановке 'Ты хороший человек, Чарли Браун' (You're Good Man Charlie Brown) он исполнил роль Снупи. После школы Коул поступил в университет штата Иллинойс на специальность 'театральное искусство'. Там ему довелось учиться вместе с такими актёрами, как Лори Меткалф и Джон Малкович.
Профессиональная карьера Коула на сцене началась в Чикаго, где в 1985 году он вступил в труппу известного театра Steppenwolf Theatre Company. Также, он часто выступал во вне-Бродвейских мюзиклах в Нью-Йорке.
К списку телевизионных проектов и фильмов, указанных выше, стоит добавить, что Коул работал также своим голосом - озвучивал несколько мультсериалов. Среди них 'Гриффины' (Family Guy), 'Ким Всемогущая' и 'Харви Бёдмэн, адвокат'. Кроме того, актёр снялся в роли Капитана Мэттью Гидеона в продолжении научно-фантастического сериала 'Вавилон-5' (Babylon 5) - 'Крестовый поход'. Эпизодические роли тоже могут стать запоминающимися. Это своим примером доказал Гэри, оставив свой след в сериалах 'Закон и порядок. Специальный корпус' (Law & Order: Special Victims Unit) и 'Заторможенное развитие' (Arrested Development).
Кроме количества работ Коула поражает и их качество, а также разнообразие его персонажей. К примеру, в 'Отчаянных домохозяйках' он играет Вейна, бывшего мужа Кетрин Майфер, и спустя короткий промежуток времени уже перевоплощается в наркобарона Теда Джонса из фильма 'Ананасовый экспресс: Сижу, курю'.
В 2008 году, во время ноябрьских сезонных замеров, актёр снялся в сериале 'Чак' (Chuck) в роли отца Сары. Затем он появился в пятом сезоне сериала 'Красавцы (Окружение)', сыграв Эндрю Кляйна - старого приятеля Ари Голда.
С 8 марта 1992 года Коул - очень допропорядочный семьянин. У Коула и его жены - актрисы Тедди Сиддал - всего один ребёнок - дочка Мэри, страдающая аутизмом. В связи с этим актёр активно участвует в организациях, направленных на помощь детям с этим заболеванием.