Эти работы были начаты еще в то время, когда он возглавлял грязовецкую земскую управу. Грязовецкий уезд был первым при проведении подворных обследований; на нем отрабатывались программа и методика сбора сведений. В опубликованных результатах этой работы содержатся полные статистические описания всех деревень Грязовецкого, Кадниковского, Вологодского, Тотемского, Вельского и Великоустюгского уездов. По остальным уездам губернии сведения, к сожалению, не были обработаны. Руководя земством, Виктор Андреевич стремился вникать во все дела местного самоуправления, много сделал для развития образования, медицины, культуры. Эти усилия были замечены: в 1914 году он был награжден Золотым нагрудным знаком «В память 50-летия положения о земских учреждениях».
В.А. Кудрявый полагал, что задача земства заключается в защите интересов всего населения, и поэтому негативно относился к политике правительства, направленной на ограничение земских инициатив. Подобная позиция вполне естественно привела его к активному участию в земско-либеральном движении. Он участвовал в I Общеземском нелегальном съезде в Москве 23–25 мая 1902 года и в нелегальном Совещании земских деятелей 24–25 апреля 1903 года в Санкт-Петербурге, занимая на них отчетливо леволиберальные позиции. Так, на апрельском Совещании в столице он выразил сомнение в стремлении правительства искать опору в обществе. На этом Совещании было признано желательным, чтобы все губернские земские собрания выступили с ходатайством перед правительством о передаче министерских законопроектов о «многообразных нуждах земской жизни» на рассмотрение земских собраний. В ответ на это министр внутренних дел В.К. Плеве запретил через губернаторов обсуждать в земских собраниях «общественные вопросы». Несмотря на это, в конце 1903 года по инициативе Кудрявого вологодское губернское земство на своем очередном собрании приняло постановление в поддержку предложений апрельского Совещания. Вологодский губернатор выразил неудовольствие земским гласным и потребовал от них прекратить заниматься политикой.
Однако вологодское земство продолжало проводить свою линию на привлечение общественности к государственным делам и в феврале 1904 года переизбрало Кудрявого на новый срок. Новое избрание В.К. Плеве не утвердил, считая Виктора Андреевича оппозиционно настроенным к сушествующей власти. Для этого у министра были все основания. С момента привлечения к дознанию в 1887 году Кудрявый постоянно фигурировал в картотеках для неблагонадежных в Департаменте полиции. Вологодское губернское жандармское управление докладывало о его общении с политическими ссыльными левого толка – В.А. Ждановым, П.П. Румянцевым, Б.В. Савинковым, П.Е. Щеголевым и др.
Отдаленное положение Вологодской губернии и суровые климатические условия делали этот регион удобным местом политической ссылки. По численности и значимости ссылка в северные губернии стояла на втором месте после восточносибирской (ее называли «Подстоличная Сибирь»). В первое десятилетие XX века она охватывала все уезды Вологодской губернии. Находясь под надзором полиции, ссыльные не могли открыто заниматься политической пропагандой и агитацией, но внесли свой вклад в духовное развитие региона, оставив после себя не только культурные ценности, но и идеи демократизма и свободолюбия.
По разным оценкам, за 1896–1917 годы через вологодскую ссылку прошло 12–15 тысяч человек. В мемуарах современников отмечается «постоянное общение» В.А. Кудрявого со многими ссыльными, включая будущего советского наркома просвещения А.В. Луначарского; видного революционера, экономиста, философа А.А. Богданова (Малиновского); физико-химика, академика АН СССР В.А. Кистяковского; писателя, фельетониста А.В. Амфитеатрова и др. Понятно, что такие связи исключали утверждение Кудрявого в должности председателя губернской земской управы.
Потеряв службу, Виктор Андреевич решил на некоторое время уехать в Санкт-Петербург. В Вологде он уже был заметным общественным деятелем, поэтому вологодские земцы, не имея возможности иным путем протестовать против решения Плеве, демонстративно устроили ему в помещении губернской земской управы «товарищеский обед» (так в условиях отсутствия политических свобод назывались общественные мероприятия), на котором присутствовало более 70 человек. Выступавшие на обеде земский начальник Грязовецкого уезда Лавров, земский техник Ильин, земский врач Грабовский, ссыльный социал-демократ Саммер выразили «шумный протест» против действий правительства.