В таком положении находилось дело, когда в апреле 1870 года в Люцерне четверо духовных лиц (это были: люцернский пастор Шюрх, два учителя гимназии – Гельфенштейн и Суппигер, и проф. Герцог) решили, в защиту старого католического учения, как выражались они, издавать особую еженедельную газету. В первый раз она вышла 22 апреля 1870 года под заглавием: «Католический Голос из Вальтштеттена». В программе газеты находились следующие знаменательные слова: «Ничто не может оттолкнуть нас от любви и преданности к нашей общей матери, – нашей старой католической церкви и ее достойных преданий; напротив, то именно и служит знаком неизменной верности и преданности ей, что, во времена опасности, даже страх, даже опасение гнева ревнителей, не мешает нам говорить истину, как мы чувствуем себя обязанными к тому в своей совести. Во всяком случае, нашим девизом пусть будет: fidecialiter agam et non timebo» («буду действовать верно, и не устрашусь»). «Голос» оставался верен этому девизу. С неустрашимостью доказывал он, на основании Св. Писания и церковной истории, ложность и вред ватиканских доктрин, рассказывал печальные события из ватиканского собора, сообщал извлечения из сочинений епископов меньшинства, заявлял о начале борьбы в Германии, и т. д. Результат был необычайный: газету повсюду читали в католической Швейцарии, и статьи ее перепечатывались во всех либеральных газетах. Тогда, для подавления соблазна, швейцарские епископы издали пастырское послание, в котором верующие католики увещевались не поддаваться внушениям «Голоса». Тем четырем священникам, которые издавали газету, оставался один только выбор: или прекратить газету, или, в противном случае, закончить разрывом с римской иерархией. Они решили в пользу первого; только один из них (это был проф. Герцог) продолжал борьбу в политических газетах, и осенью 1871 года он неоднократно был вызываем в епископскую комиссию с требованием откровенно объясниться касательно своего положения по отношению к новому догмату. Этой комиссии проф. Герцог открыто заявил, что он не признает нового догмата, считает своим долгом стоять за истину, и сбросит с себя анонимность, лишь только с достаточностью убедится, что его личность и положение могут оказать действительную услугу истине. На этот раз он не подвергся никакому церковному наказанию. Год спустя (в сентябре 1872 г.) он отправился на старокатолический конгресс в Кельне и заявил оттуда в открытом письме к епископу Лашо о том, что он примкнул к старокатолическому движению и принял на себя пастырские обязанности во второй старокатолической общине в Пруссии – Крефельде (дотоле была еще только одна старокатолическая община в Кельне).