Вскоре после рождения Джеймса семья переехала в город Модесто, где прошло его детство и юность.
После развода родителей Джеймс и остальные дети остались жить с матерью. Позже, вспоминая эти годы, Джеймс говорил, что "женские воспитание" наложило на него определенный отпечаток. "Мама говорила, что споры нужно решать словами, а не кулаками, но я не мог воспользоваться этим аргументом в компании мальчишек, поэтому во мне копилась злость".
Во время учебы в пятом классе Джеймс получил серьезную травму - пропорол ногу опрыскивателем газона. Травма оказалась настолько тяжелой, что он не мог ходить почти год. В эти месяцы он начал увлекаться литературой и театром. Он дебютировал на школьной сцене в спектакле "Винни-Пух" (роль Иа-иа).
Джеймс начал играть на гитаре с 9 лет. В 13 лет он открыл для себя панк-рок, после чего маменькин сынок превратился в "угрозу обществу". "Я чувствовал себя "уродом из Модесто", я причесывался и одевался так, чтобы от меня шарахались. И от меня действительно шарахались". В школьные годы Джеймс играл в панк-группе The Vandals, которая время от времени выступала в местных клубах.
Увлечение панком не помешало ему продолжать актерскую карьеру: он играл в местном любительском театре и, по его признанию, впервые поцеловался на сцене в 14 лет со старшей девушкой.
После школы Джеймс уехал из Модесто и поступил в Тихоокеанскую консерваторию Исполнительского мастерства (Pacific Conservatory of Performing Arts (PCPA)) в городе Санта-Мария, штат Калифорния. Он проучился там два года (1980-1982) и сегодня считает, что именно в Консерватории получил свои лучшие уроки актерского мастерства. По вечерам он подрабатывал на жизнь официантом и менеджером ресторана Omelets & More, но, по его признанию, душа у него не лежала к ресторанному бизнесу, и работал он из рук вон плохо.
По окончании консерватории Джеймс переехал в Нью-Йорк и поступил в престижную Джульярдскую школу, куда на актерское отделение ежегодно принимают всего 20 человек. Одновременно с ним в Джульярде учились Кевин Спейси и Вэл Килмер.
Обычно обучение на актерском отделении в Джульярде продолжается три года; однако Джеймс ушел после двух лет учебы (1982-1984) из-за разногласий с преподавателями. Позже он говорил, что в Джульярде преподают не столько актерскую игру, сколько дикцию; очевидно, его мнение показалось преподавателям слишком радикальным. Так или иначе, он до сих пор с горечью вспоминает пережитое в Джульярде.