Когда в 1874 году граф Пален, не удовлетворенный деятельностью суда присяжных, стал «подкапываться» под него и потребовал от прокуроров представления сведений о числе оправдательных приговоров, вынесенных присяжными, Кони использовал совещание для выработки согласованных действий. По результатам обсуждения он издал циркуляр, в котором предлагал своим подчиненным искать причины оправдательных приговоров в фактических обстоятельствах каждого конкретного дела, не входя при этом в оценку «
За время службы в качестве прокурора Санкт-Петербургского окружного суда Кони достиг чина коллежского асессора и был награжден орденом Святого Владимира IV степени.
В июле 1875 года Кони становится вице-директором департамента Министерства юстиции. Граф К. И. Пален, назначая Кони, сказал, что ему нужна в министерстве «судебная совесть». Кони становится одним из ведущих сотрудников министерства, участвует во всех совещаниях у графа Палена. Он получает новые чины, сначала надворного советника, затем коллежского советника. Его имя приобретает известность при высочайшем дворе. В 1875 году он вошел в Совет управления учреждений великой княгини Елены Павловны, затем стал членом высочайше учрежденной комиссии для исследования железнодорожного транспорта в России.
В качестве профессора Кони начинает читать лекции по уголовному судопроизводству в Императорском училище правоведения (с 1876 по 1883 год). В 1876 году он стал одним из учредителей юридического общества при Санкт-Петербургском университете. С самого начала своей прокурорской деятельности он активно сотрудничал в «Журнале Министерства юстиции», «Правительственном вестнике», «Русской старине», «Вестнике Европы» и других периодических изданиях.
Двадцать девятого апреля 1877 года Кони назначается директором департамента Министерства юстиции. В июне того же года определением Правительствующего сената он утверждается почетным мировым судьей по Санкт-Петербургу.
Двадцать четвертого декабря 1877 года Анатолий Фёдорович возглавил Санкт-Петербургский окружной суд. В этом качестве ему пришлось 31 марта 1878 года председательствовать на известном процессе В. Засулич, стрелявшей в градоначальника Трепова. Несмотря на явно политическую подоплеку этого преступления, прокурор Санкт-Петербургской судебной палаты А. А. Лопухин убедил министра юстиции вести дело как обычное уголовное, передав по окончании на рассмотрение суда присяжных.
Незадолго до суда граф Пален вдруг забеспокоился. Он пригласил к себе Кони и прямо спросил его, может ли он ручаться за вынесение обвинительного приговора. И, как уже отмечалось в предыдущем очерке, тот откровенно сказал, что не может. Ответ возмутил Палена: «
В. И. Засулич была судом оправдана. Графа Палена вскоре уволили, Кони — не решились.
Но в министерстве при случае всегда старались дать понять его «неугодность» — представления председателя суда о наградах и пособиях своим подчиненным демонстративно «не уваживались», а его самого иногда назначали в такие комиссии, в которых, по словам Кони, «присутствие живого юриста звучало какою-то насмешкою над ним» и т. п.
Так продолжалось до тех пор, пока не произошло одно событие, заставившее нового министра юстиции генерал-прокурора Д. Н. Набокова изменить свое отношение к Кони.