В 15 лет, окончив фабрично-заводское училище Московского электрозавода имени Куйбышева, пришёл работать на Метрострой слесарем-электриком. Играть начал в театре рабочей молодежи (ТРАМ) при заводском клубе. Первоначально выступал под своей настоящей фамилией Храпинович. Закончил театральную студию Арбузова. С 1937 – актер Театра кукол при Московском Доме пионеров.
Когда началась Великая Отечественная война, Зиновий Гердт ушёл добровольцем на фронт. Был командиром сапёрной роты в звании старшего лейтенанта. В феврале 1943 года под Белгородом был тяжело ранен. После одиннадцати операций, самые важные из которых выполняла ведущий хирург Боткинской больницы Ксения Винцентини (жена знаменитого конструктора Сергея Королёва), Гердту сохранили повреждённую ногу, которая с тех пор была на 8 сантиметров короче здоровой и вынуждала артиста сильно прихрамывать.
В 1945-1982 – в труппе Центрального Театра кукол под руководством С. В. Образцова; с 1983 – актер театра им. М.Н.Ермоловой.
В кино с 1958 года, известен как мастер эпизодических, преимущественно комедийных ролей.
Зиновий Гердт вошел в кинематограф как актер дубляжа, закадрового текста, долгое время оставаясь «за ширмой» подобно кукольнику. Голосом Гердта говорили звезды зарубежного экрана Тото, Де Сика, Ричард Харрис, Питер О'Тул, а также Юрий Ярвет в роли короля Лира.
На экране Зиновий Гердт начал появляться в эпизодах и довольно поздно. На эпизодические роли он приглашался и в фильмы «Фокусник» и «Золотой теленок», но режиссеры увидели в Гердте больший потенциал. Роли фокусника Кукушкина и жулика Паниковского определили его актерское будущее. Гердт в каждый кинообраз он вносил свой, порой отличный от первозданного, смысл, не прибегал к одной краске в изображении характера. В этом сказывалась не только его тяга к драматургии (им написано несколько пьес), но и высокий интеллект, неординарная одаренность.
На телевидении Зиновий Гердт с 1962 по 1966 год, с перерывами на гастроли и съёмки, вёл передачу «Кинопанорама». Из-за сложностей с графиком артист ушёл из телепередачи, его преемником стал Алексей Яковлевич Каплер. В 90-х годах Гердт был ведущим авторской программы «Чай-клуб» на канале ТВ-6 Москва.
К Зиновию Гердту тянулись самые различные люди, с ним хотели общаться, дружить, его слушали, в последние десятилетия жизни он стал нравственным ориентиром нескольких поколений кинематографистов и зрителей.
Ушел из жизни 18 ноября 1996 года. Похоронен на 10 уч. Кунцевского кладбища (Москва).
В 2006 году на родине актера, в городе Себеже Псковской области, к 90-летию со дня его рождения и к 10-летию со дня его смерти открыт памятник Зиновию Гердту.