Тридцатого января 1885 года Анатолий Фёдорович все же назначается обер-прокурором уголовного кассационного департамента Правительствующего сената. Он пробыл в этой должности до 1897 года (в 1891–1892 годах временно был сенатором). За это время Кони дано почти 700 заключений по различным делам, а в качестве прокурора он выступил во многих процессах (по делам князей Щербатова и Мещерского, земского начальника Протопопова и др.).
По словам Кони, он стремился придать обер-прокурорской деятельности «
В 1888 году по высочайшему повелению Кони был командирован в Харьков для расследования причин крушения царского поезда, произошедшего 17 октября недалеко от станции Борки. В результате катастрофы погибли 19 человек, ранены 14. Члены царской семьи по счастливой случайности не пострадали. В изорванной одежде, перепачканные, они благополучно выбрались из искореженных вагонов. Александр III, проявляя самообладание и выдержку, сразу же отдал необходимые распоряжения об оказании помощи пострадавшим.
Следствие продолжалось три месяца, его материалы составили четыре больших тома, не считая многочисленных приложений. Все трудности и тяготы по «громадному и сложному следствию» Анатолий Фёдорович разделил с судебным следователем по особо важным делам Харьковского окружного суда Николаем Ивановичем Марки и прокурором того же суда Николаем Андреевичем Дублянским. Обо всех следственных действиях Кони регулярно докладывал сменившему Набокова новому министру юстиции Н. А. Манасеину в шифрованных телеграммах. Все же свои предложения, сомнения, наблюдения он излагал в частных письмах к нему. Докладывая императору о деле, министр однажды сослался на одно из таких писем, а впоследствии по просьбе Александра III давал их ему на прочтение, не решившись сообщить об этом Кони.
Спустя месяц после начала следствия Манасеин вызвал Кони в Петербург для «представления государю личных объяснений по делу». Анатолий Фёдорович начал свой доклад с сообщения о том, что в результате предварительного расследования не установлено следов какого-либо террористического акта. Затем он изложил свои выводы о виновности должностных лиц, причастных к трагедии. По его словам, все они проявили «преступную небрежность к поезду чрезвычайной важности». Закончил свой доклад Кони сообщением о «хищнических действиях» правления при эксплуатации железной дороги, стремлении любым путем к наживе, безответственности служебного персонала и попустительстве всему этому со стороны Министерства путей сообщения. «
Император поблагодарил Анатолия Фёдоровича за проведенную работу и интересный доклад и пожелал успехов в завершении дела.
Н. А. Манасеин был очень доволен тем, как прошел доклад. Он сказал Кони: «
Вернувшись в Харьков, Кони с участием следователя Марки и прокурора Дублянского предъявил обвинение некоторым должностным лицам дороги, а затем в начале 1889 года выехал в Петербург.