Граф Пален свое слово сдержал. Вскоре после беседы с Кони он перевел его на службу в столицу. 18 февраля 1870 года Кони получил должность товарища прокурора Санкт-Петербургского окружного суда. В последующие годы министр постепенно переводил Кони на все более ответственные посты. 26 июня того же года министр назначает его на должность самарского губернского прокурора, но уже менее чем через месяц переводит прокурором Казанского окружного суда. Поставив Кони на самостоятельную должность, граф Пален не упускал его из виду. В июне 1871 года он лично ревизовал судебные установления в Казани, внимательно ознакомился с их работой, побывал в окружном суде во время проведения процесса над неким Нечаевым, обвинявшимся в убийстве из корыстных побуждений. Обвинение поддерживал А. Ф. Кони. Граф Пален остался доволен и организацией процесса, и обвинительной речью прокурора.
Вскоре после этого Кони становится прокурором Санкт-Петербургского окружного суда.
В этой должности он прослужил четыре года. Он поддерживал обвинение по многим уголовным делам, выдвинувшись в число лучших судебных ораторов России. В судебных процессах ему часто противостояли такие знаменитые адвокаты, как В. Д. Спасович, К. К. Арсеньев, А. М. Унковский и другие. Многие обвинительные речи Кони стали публиковаться в печати.
Судебные его речи всегда отличались высоким психологизмом, основанным на почве всестороннего изучения индивидуальных особенностей каждого преступного деяния. Он старательно выяснял характер обвиняемого и, только составив ясное представление о том, «кто этот человек», представший перед судом, переходил к изысканию мотивов совершения преступления. Своими четкими, продуманными вопросами он как бы анатомировал людей и заставлял их полностью раскрываться. Мотивы преступления как признак, свидетельствующий о внутреннем душевном состоянии человека, всегда получали в глазах Кони особенное значение. Он заботился не только об установлении юридической, но и нравственной ответственности подсудимых. Сама форма речей Кони была проста, в ней не присутствовали никакие риторические украшения. Отношение его к подсудимым и вообще всем участникам процесса было гуманным и доброжелательным. Ему были чужды злоба или ожесточение. В то же время это не было проявлением слабости или безволия. Из его уст нередко звучала суровая оценка деяниям и лицам. Но как никому другому ему было присуще чувство меры. К. К. Арсеньев отмечал, что дар психологического анализа соединен в нем с темпераментом художника. Своими речами Кони не столько увлекал, сколько убеждал, причем в его речах присутствовали красивые сравнения, обобщения, меткие замечания.
Впоследствии Анатолий Фёдорович писал: «