Родители разошлись в 1976 году (развод оформлен только в 1978), и Бертран с Джеймсом и Анджелиной переехала в Нью-Йорк. Развод родителей оказал сильное влияние на брата и сестру, и впоследствии у них сложились с отцом не самые лучшие отношения. Делая актерскую карьеру сын Войта не пожелал, чтобы в титрах стояла фамилия отца. То же самое сделала и его сестра. В качестве фамилии Джеймс использует своё второе имя Хейвен, данное ему при рождении.
Джеймс учился на режиссерском курсе в Школе Кино и Телевидения при Университете Южной Калифорнии (USC School of Cinematic Arts), и Анджелина сыграла в пяти его экспериментальных фильмах (в её фильмографию эти ленты не вошли).
Как актер Джеймс Хейвен появился примерно в пятнадцати проектах. Особую популярность Джеймсу Хейвену принесла работа над фильмами: «Джиа», «Соблазн», «Бал монстров». Наиболее популярный сериал с участием Джеймса Хейвена: «C.S.I. Место преступления».
Джеймс Хейвен очень близок со своей сестрой. Буква «Н» на левом запястье Анджелины, по словам актрисы, в честь её брата Джеймса Хейвена. Он часто сопровождает её на различные торжественные церемонии. В одном из эпизодов «Прерванной жизни» (1999) Джоли спрашивает «Где Джэйми?», тем самым упоминая имя своего брата. В 2000 году Хейвен вместе с сестрой публично опровергли ложные слухи, согласно которым они состояли в кровосмесительной любовной связи.
С 2006 года Джеймс Хейвен Войт является исполнительным директором кинофестиваля Артивист, в котором принимают участие фильмы о свободе прав человека, правах животных и защите окружающей среды.