Джозеф начал актёрскую карьеру в раннем возрасте: в 1988 году он дебютировал в телефильме «Ни шагу назад». Первая роль в полнометражном кино пришлась на 1992 год, Джозеф появился на несколько секунд в фильме «Бетховен». Далее он сыграл у Роберта Редфорда в фильме «Там, где течёт река» (другое название — «И катит воды река»), а с 1996 года он играл в популярном телевизионном сериале «Третья планета от Солнца», за который получил две премии от влиятельного голливудского издания The Hollywood Reporter и премию Гильдии киноактёров США. Кроме того, Джозеф сыграл одну из ведущих ролей в успешной комедии «10 причин моей ненависти», квази-шекспировском современном молодёжном фильме, где вместе с ним на экране появились Хит Леджер и Джулия Стайлз.
В 2001 году, после завершения актёром Колумбийского университета и того, как сериал «Третья планета от Солнца» был снят с эфира, Джозеф Гордон-Левитт практически полностью перешёл к съёмкам у независимых режиссёров. В 2005 году актёр получил широкое признание публики и позитивные отзывы критиков во всём мире за свою роль уличного хастлера в фильме культового режиссёра Грегга Араки «Загадочная кожа». А чуть позже на экраны в ограниченный прокат вышел фильм Райана Джонсона «Кирпич» — снятый в жанре нео-нуар университетский детектив, в котором Джозеф сыграл студента, расследующего загадочную гибель своей бывшей подружки.
Осенью 2006 года актёр был занят на съёмках фильма режиссёра Кимберли Пирса «Война по принуждению». Кроме того, Джозефа можно увидеть в роли наёмного убийцы в триллере «Киллер» с участием Дайан Лэйн и Микки Рурка.
В 2009 году Джозеф снялся в главной роли в романтической комедии «500 дней лета» совместно с Зоуи Дешанель. Гордон-Левитт сыграл влюбленного романтика Томаса Хэнсона, за что был номинирован на премии «Независимый дух» и «Detroit Film Critics Society Awards».
В 2010 году вышел в прокат фильм с участием Гордона-Левитта «Начало» с Леонардо Ди Каприо в главной роли и «Хэшер» с Натали Портман.
В 2011 году в фильме «Жизнь прекрасна» Джозеф сыграл молодого человека по имени Адам, который узнает, что он болен раком.
2012 год был богат на премьеры с участием Джо. Летом увидела свет заключительная часть трилогии о Бэтмене «Тёмный рыцарь: Возрождение легенды». Гордон-Левитт вновь поработал с Кристофером Ноланом и сыграл офицера, а позже детектива Джона Блэйка. В августе вышел фильм «Срочная доставка», Джо сыграл главную роль. В сентябре состоялась премьера фильма режиссёра Райана Джонса «Петля времени». Роль главного героя была специально написана для Джозефа. В ноябре в широкий прокат вышел фильм «Линкольн» где он сыграл сына 16-го президента США.
В январе 2013 года на кинофестивале «Сандэнс» состоялась премьера комедийного фильма «Страсти Дон Жуана», в котором Джозеф Гордон-Левитт является режиссёром, сценаристом, а также исполнителем главной роли. В фильме также снимались Скарлетт Йоханссон и Джулианна Мур. В России в широкий кинопрокат фильм вышел в сентябре 2013 года. В 2014 году состоялась премьера «Город грехов 2».