«Наравне с писателем, наравне со всяким другим общественным деятелем, — писал Арсеньев, — адвокат должен и может избегать противоречия между мыслью и словом, между словом и делом, должен и может быть твердым в своих убеждениях, последовательным в своих действиях. От него в огромном большинстве случаев зависит вы. бор дел, которые он на себя принимает, — зависит поэтому и отказ от всякой защиты, которую он не мог бы вести по убеждению…» Что же касается роли защитника, назначенного судом, то его задача «состоит в том, чтобы извлечь из дела, сгруппировать, выставить в надлежащем свете все обстоятельства, говорящие в пользу подсудимого, т. е. опровергающие обвинение или уменьшающие его силу. Такие обстоятельства найдутся в каждом деле, найдутся и без извращения фактов, без намеренного искажения истины… Устранить предубеждение, с которым присяжные могут относиться к подсудимому, показать им, что довело его до преступления, приготовить их к снисходительному или по крайней мере спокойному обсуждению дела — во г цель, к которой должен стремиться и которой может достигнуть защитник ex officio, даже тогда, когда он убежден в виновности подсудимого» («Заметки о русской адвокатуре», СПб., 1875, стр. 147, 149).
Представление об Арсеньеве-ораторе дают две его речи, помещенные в сборнике «Судебные речи известных русских юристов» (изд. 3-е, М., 1958).
В 1874 году Арсеньев вновь поступает на государственную службу, последовательно занимая должности товарища обер-прокурора гражданского кассационного департамента Сената, члена консультации министерства юстиции, старшего чиновника при сенаторе И. И. Шамшине. В 1882 году он окончательно уходит в отставку, полностью посвятив себя общественной, научной и литературной деятельности.
Первые статьи Арсеньева появились еще в конце пятидесятых годов в «Русском вестнике». В 1862 году он переходит в «Отечественные записки», где становится постоянным сотрудником и выступает преимущественно по текущим вопросам западноевропейской жизни. Одновременно он помещает статьи и заметки в «Энциклопедическом словаре» (под редакцией П. Л. Лаврова), «Санкт-Петербургских ведомостях» и «Судебном вестнике». В 1866 году начинается его систематическое сотрудничество в «Вестнике Европы», основанном М. М. Стасюлевичем. С 1880 по 1905 год К. К. Арсеньев ведет в нем отделы «Внутреннее обозрение» и «Общественная хроника», а с 1909 года делается ответственным редактором. Вокруг «Вестника Европы», журнала сугубо либерального толка, объединялась буржуазная интеллигенция, желавшая установления в России некоего «правового порядка» взамен неограниченного самодержавия. Статьи и заметки Арсеньева не выходили за рамки типичной для либералов программы, но в период реакции восьмидесятых-девяностых годов его публицистическая деятельность, направленная на введение в стране буржуазно-демократических политических свобод, сыграла положительную роль. Хотя критика правительства и велась Арсеньевым очень осторожно и с умеренных позиций, журнал за некоторые из его статей был подвергнут репрессиям (например, за статью «Политический процесс 1869—1871 гг.»).
Из общественно-политических работ К. К. Арсеньева должны быть отмечены «Законодательство о печати» (СПб., 1903), «Свобода совести и веротерпимость» (СПб., 1905) и сборник статей из «Вестника Европы» — «За четверть века» (Петроград, 1915), В девяностых — начале 1900-х гг. Арсеньев был одним из ответственных редакторов «Энциклопедического словаря» и редактора «Нового энциклопедического словаря» Ф. А. Брокгауза и И. А. Ефрона. С 1889 по 1891 год Арсеньев был председателем Литературного фонда, а в 1900 году его избрали почетным академиком по разряду изящной словесности. После манифеста 17 октября 1905 г. он — один из основателей так называемой «партии демократических реформ», занявшей позицию на правом фланге русского либерализма.
Деятельность Арсеньева как литературного критика довольно многообразна. Ему принадлежит большое число статей о русской и западной литературе. Часть из них собрана о двухтомнике «Критические этюды» (СПб., 1888). Он автор работ о Ф. М. Достоевском, Н. А. Некрасове, Г. И. Успенском, В. Г. Короленко, К. К. Случевском и ряде других русских и европейских писателей, отмеченных в статье А. Ф. Кони.