Залман Эфроимович Храпинович родился 21 сентября 1916 года в городке Себеж на границе с Латвией за чертой оседлости евреев. В Себеже жили примерно в равных количествах русские, евреи и поляки. Это было, по словам самого Гердта, «трехнациональное местечко». Жители знали три языка: русский, идиш и польский. В городке были православная церковь, синагога и костел. Православную церковь и костел взорвали большевики, синагогу сожгли фашисты. Сегодня православную церковь в Себеже восстановили. Залман был четвертым, младшим, ребенком в семье. Его отец был мелким служащим, работал в конторе «Заготзерно». В разгар НЭПа поехал в Москву с пачкой денег, которые ему собрали мелкие лавочники, чтобы он привез для них товар. На Сухаревском рынке ему разрезали пиджак и выкрали все деньги. До конца жизни он отдавал чужие деньги как собственные долги.
Еще учась в школе в Себеже, будущий народный артист СССР проявил актерские способности. В аттестате директор школы записал: «Имеет склонность к драматической игре».
Старший брат Залмана женится на москвичке, и семья переезжает в Москву в дом к невестке. Домом это строение назвать трудно, скорее это был барак на территории Тимирязевской академии. Атмосфера в доме была тяжелая: невестка постоянно ругалась с сестрой мальчика, а мать неизменно принимала сторону невестки: ведь они жили в ее доме. Много лет спустя Гердт предложил повесить на стене этого барака памятную доску: «Здесь жил и от этого умер Зиновий Гердт».
В 14 лет Залман пошел учиться в фабрично-заводское училище Электрокомбината на слесаря-лекальщика. Он не собирался всю жизнь посвятить этой профессии, но учеба в ФЗУ в течение двух лет давала необходимый рабочий стаж для поступления в институт. В одном из зданий Электрокомбината располагался заводской ТРАМ — театр рабочей молодежи, куда юноша и поступил. Прежде всего, для того, чтобы как можно меньше бывать дома. В ТРАМЕ играли Исай Кузнецов, Всеволод Багрицкий, сын знаменитого поэта Эдуарда Багрицкого, Александр Галич, тогда еще Гинзбург. Через некоторое время в ТРАМ пришли драматург Алексей Арбузов и будущий главный режиссер Театра Сатиры Валентин Плучек. В 1937 году ТРАМ был закрыт, но его основные артисты перешли в 1938 году в Арбузовскую студию, первым спектаклем которой стал нашумевший «Город на заре». Здесь и родился Зиновий Гердт, что для сцены звучало гораздо лучше Залмана Храпиновича. Вот как об этом событии вспоминал ближайший друг Зямы, знавший его еще до войны, «целеньким», писатель и сценарист Исай Кузнецов: «Кому-то пришла мысль, поначалу шутливая, что Зямина фамилия звучит несерьезно и недостаточно благозвучно. Не потому что еврейская — никому не пришло в голову считать неподходящей фамилию Саши Гинзбурга. Решили, против чего не возражал и Зяма, придумать ему псевдоним.
Посыпались предложения, самые неожиданные, подчас не лишенные насмешливого подтекста. Они отвергались одно за другим. Кто-то предложил фамилию известной балерины Елизаветы Герд.
Предложение было встречено одобрительно, в том числе и Зямой.
— Только обязательно — Герд-т! С буквой «т» на конце, — категорически заявил Арбузов.
— Герды-ты — это звучит гордо-то, — сострил кто-то. Так Зяма, Залман, как мы часто его называли, стал Зиновием Гердтом».
С началом войны Зиновий Гердт уходит добровольцем в армию, хотя театр давал своим артистам «бронь» и возможность участвовать в артистических бригадах, выступающих в прифронтовой полосе, поднимая настроение и дух бойцам. Сначала его отправили в военно-инженерное училище, откуда он вышел сапером в звании младшего лейтенанта и сразу же был отправлен на фронт под Воронеж. Провоевал Гердт чуть больше года. В феврале 1943 года под Белгородом он был тяжело ранен в ногу снарядом из немецкого танка. Четыреста метров до опушки леса под вражеским огнем его тащила на плащ-палатке медсестра Вера Веденина, которая фактически его и спасла. А позже врачи спасли и его ногу. Правда, для этого пришлось перевозить его целый месяц из деревни в деревню, сделать одиннадцать операций. Нога стала короче на 8 сантиметров, а Гердт остался хромым на всю жизнь. Но он остался благодарен Вере Ведениной тоже на всю жизнь. Когда он был уже на пике славы и попал в число деятелей искусств, приглашенных в московскую мэрию, к нему подошел Юрий Лужков и спросил:
— Что я могу сделать для вас? Вы никогда ничего не просили.
— Для меня ничего, а вот поменять квартиру на большую медсестре, которая вынесла меня с поля боя, можете.
Трудно представить себе ситуацию, менее благоприятную для актерской карьеры: младший ребенок в многодетной еврейской семье из захолустного местечка с внешностью и фигурой, далекой от образа героя-любовника, хромой наконец. Гердт доказал, что все эти обстоятельства еще не приговор, доказал с помощью всего двух качеств: таланта и силы духа. Он решил спрятаться за ширмой кукольного театра, чтобы скрыть свой физический недостаток. После строгого прослушивания Зиновий Ефимович поступил в самый знаменитый кукольный театр страны к Сергею Образцову, где и проработал 36 лет.