В 1955-м у актера начались серьезные проблемы с государством; руководство всех крупных студий внесло его в свой «черный список» после того, как он отказался отвечать на вопросы комитета по расследованию антиамериканской деятельности, ссылаясь на пятую поправку.
В 1988-м актер стал президентом Национального Совета по Американско-Советской Дружбе, пришедшего на смену организованному в 1941-м Национальному Совету по Отношениям с Советами. Этот совет, в свою очередь, вырос из открыто-радикального движения за американско-советскую дружбу, организованного еще в 30-х; оно же стало естественным развитием созданной в 1929-м организации «Друзья Советского Союза». Совет состоял по большей части из представителей различных профессий, относившихся с симпатией к деятельности Советского Союза и считавших, что Америка и СССР должны объединится в борьбе против фашистов. В 1946-м комитет по расследованию антиамериканской деятельности начал анализировать деятельность организации. Во время этого расследования Совет продолжал активную деятельность, выпуская различные памфлеты и документы о жизни в Советском Союзе и текущем состоянии отношений двух государств.
Рэндольф был последним актером из «черного списка», сумевшим вновь начать работать в Голливуде; повезло ему в 1966-м, когда режиссер Джон Франкнхаймер пригласил его на главную роль в картине «Seconds». После этого Джону удалось попасть в нью-йоркские постановки «Звуки музыки», «Paint Your Wagon» и «The Visit». В 1975-м Рэндольф получил роль генерала Филиппа Блэнкеншипа в «The New Original Wonder Woman».
В 1987-м актер выиграл премию «Тони» за свою роль в пьесе Нила Саймона «Broadway Bound».
В последний раз Рэндольф появился на Бродвее в 1991-м, в постановке «Прелюдия к поцелую».
Большое количество ролей в кино и на телевидении сделало актера настоящей знаменитостью; его часто останавливали на улицах прохожие. Джону даже довелось сыграть роль отца главной героини в популярном сериале «Розанна»; впрочем, он довольно быстро покинул сериал. На протяжении первых двух сезонов он играл немаловажную роль в сюжете; в дальнейшем он лишь упоминался, а потом стало известно о его похождениях на стороне и персонажа вывели из шоу полностью.
Не менее удалась Джону роль в культовом комедийном сериале «Сайнфелд»; впрочем, позднее его заменил Джерри Стиллер. В 1995-м сцены с Рэндольфом были пересняты – все с тем же Стиллером; впрочем, оригинальную версию все еще можно встретить за пределами США и на DVD.
В период с 1942-го по 1986-й Джон состоял в браке с американской актрисой Сарой Каммингс; разорвала столь продолжительный и счастливый брак смерть Сары.
24-го февраля 2004-го Рэндольф скончался от естественных причин; на момент смерти ему было 88 лет. Тело актера было кремировано.