Тони Рэндалл (настоящее имя Артур Леонард Розенберг) родился в городе Талса, штат Оклахома, в семье Мойше и Джулии Розенбергов. Его отец занимался продажей предметов искусства и антиквариата. У Тони Рэндалла была родная сестра Эдна. Рэндалл получил образование в Центральной высшей школе Талсы. После окончания школы Тони поступил в Северо-западный университет. Проведя там около года он отправился в Нью-Йорк, для того что бы поступить в школу Кукольного мастерства.
Так же он получил образование при театре «Сэнфорд Майснер», его балетмейстером стала известная танцовщица Марта Грэм. В этот период Тони выбирает себе сценический псевдоним, так как его имя, как он считал не очень походит для актера. С этого момента его все стали называть Тони Рэндалл.
Тони начинает работать в различных театрах. Он играл в постановках с такими известными актерами как Джейн Коул, Этэль Барримор. В течении четырех лет, во время Второй мировой войны, он отслужил в рядах американской армии. После службы играл в театре «Olney» в штате Мэриленд, после чего вернулся обратно в Нью-Йорк.
Тони Рэндалл всегда выделялся из массы других актеров своим занятным юмором и пантомимой. Он знал массу всевозможных забавных историй и анекдотов, благодаря чему был «душой» компании.
Свой путь в мир кино он начал на бродвейской сцене. В 40-х годах он сыграл роль Реджи в многосерийном радиосериале «Love a Mystery». Его первой главной ролью была роль в мюзикле «Breaks Like the Wind». В 1958 году он сыграл одну из ведущих ролей в мюзикле «Oh, Captain!». Но самой известной его работой стала роль в шоу «Странная пара». За её исполнение в 1975 году он был удостоен премии «Эмми».
В течение 70-х годов Тони Рэндалл вел несколько популярных телешоу, одним из которых было «Шоу Тони Рэндалла».
В 1991 году он открывает свой собственный театр. В исполняемом репертуаре театра были только классические произведения, в которых играли самые известные актеры.
Рэндалл был женат на Флоренс Гиббс с 1942 года до её смерти от рака в 1992. 17 ноября 1995 года он вступил в брак с Хитэр Харлан, стажёром в одной из его театральных программ. Ему на тот момент было 75, а его новой супруге — 25 лет. Впоследствии у пары родились двое детей — Джулия Лоретта Рэндалл (1997 г.р.) и Джефферсон Салвини Рэндалл (1998 г.р.). Последний брак Рэндалла длился вплоть до его смерти.
В мае 2004 года, после продолжительной болезни великий актер Тони Рэндалл ушел из жизни.