В 1870 Кони был назначен товарищем прокурора С.-Петербургского окружного суда. В последующие годы министр постепенно переводил Кони на все более ответственные посты: Самарского губернского прокурора, прокурора Казанского и, наконец, Петербургского окружных судов. В 1875 Кони становится вице-директором, а в 1877 — директором департамента Министерства юстиции. В декабре 1877 назначается председателем С.-Петербургского окружного суда. Анатолий Федорович был председателем на известном процессе В. Засулич. Она, как известно, была оправдана присяжными заседателями. Этого власти Кони простить не могли. И хотя по закону он не мог быть уволен, дальнейшую его службу сделали просто невыносимой. Тем не менее, Кони держался несколько лет, рассмотрев немало дел, вызвавших широкий общественный резонанс. В 1881 он все же вынужден был оставить свой пост и перейти на должность директора гражданского департамента судебной палаты. С 1875 по 1883 Кони, не оставляя службы, преподавал уголовное судопроизводство в Императорском училище правоведения.
В 1885 А. Ф. Кони назначается обер-прокурором уголовного кассационного департамента Правительствующего сената, он пробыл на этой должности до 1897 (в 1891–1892 временно был сенатором). За это время Кони дано почти 700 заключений по различным делам, а в качестве обвинителя он выступил во множестве процессов (по делам князей Щербатова и Мещерского, земского начальника Протопопова и др.). В 1888 по Высочайшему повелению А. Ф. Кони был командирован в Харьков для расследования причин крушения царского поезда.
В 1898–1907 Кони состоял сенатором, а затем вплоть до мая 1917 — членом Государственного совета. В 1906 году П. А. Столыпин предложил А. Ф. Кони занять пост Министра юстиции и генерал-прокурора — Анатолий Федорович отказался. В 1901–1917 на педагогическом поприще, но уже в Императорском Александровском лицее.
Одновременно с ответственной служебной и преподавательской работой, Анатолий Федорович Кони много и плодотворно занимался научно-литературной и публицистической деятельностью, выступал в печати со статьями и судебными очерками. В 1888 вышел в свет большой том «Судебных речей» Кони, выдержавший несколько изданий и неоднократно печатавшийся при советской власти. С 1890 А. Ф. Кони — доктор уголовного права, с 1900 почетный академик Петербургской академии наук.