Раненого перенесли в вагон базы, и фельдшер оказал первую медицинскую помощь. Бронепоезд пошел к Пятихаткам. Там Железнякова перегрузили в санитарный поезд, где наконец-то провели врачебный осмотр. С момента ранения прошло уже шесть часов. Перед самым отправлением поезда на Киев Железняков скончался в результате внутреннего кровоизлияния.
По воспоминаниям Е. Н. Винды, в Пятихатках бронепоезд получил распоряжение выдвинуться к фронту, а она повезла тело Железнякова санпоездом в Киев. Ночью на станции Александрия в вагоне появился некто «вооруженный с ног до головы… в бурке и папахе…отрекомендовался старым боевым товарищем Анатолия… сказал, что завтра выезжает специальным поездом в Киев для доклада и довезет… всех нас, а оттуда будет уже легче двигаться в Москву. Из города вызвали врачей, чтобы приготовить тело Железнякова к далекому пути. Анатолия одели в штатский костюм, который он взял с собой из Одессы; морской формы у него с собой не было, а военный костюм, который он носил в бронепоезде, пришлось выбросить, настолько он был пропитан кровью. Железняков лежал на столе в зале вокзала, прикрытый красными знаменами, а мимо него все шли и шли делегации воинских частей, стоявших тогда в Александрии, и даже частей, проезжавших или проходивших мимо этой станции. На другой день наш поезд отошел в Киев».
В Киеве Железнякова уложили в цинковый гроб. По одной из версий, погибшего повезли в Москву по приказу его старого недруга Н. И. Подвойского. По другой, распоряжение о месте захоронения А. Г. Железнякова дал лично Л. Д. Троцкий. Как бы то ни было, но Железнякова собирались хоронить в столице первого пролетарского государства как эпохальную историческую личность. Мертвый бунтарь и анархист был уже не опасен, а его популярность при правильном ее использовании еще могла пригодиться. Однако вдова погибшего Е. Н. Винда, не считаясь с официальной версией, утверждает: решение хоронить Железнякова в Москве приняла она в Пятихатках лично, мотивировала тем, что это его родина. Встречается и еще одна версия: желание быть захороненным в случае чего рядом с фронтовым другом В. И. Киквидзе Железняков якобы высказал в одном из своих писем к еще здравствующему Киквидзе, после своего бегства из Елани в Одессу.
2 и 3 августа 1919 года газета «Правда» в двух выпусках опубликовала некролог следующего содержания: «В бою с белогвардейскими бандами Деникина на Украинском фронте погиб смертью славных командир бронепоезда имени тов. Худякова известный революционер Железняков Анатолий Григорьевич».
В Москве с Киевского вокзала гроб с телом покойного перевезли в здание Дома анархии на нынешнем Ленинградском проспекте. При этом гроб с телом А. Г. Железнякова везли на броневике в сопровождении большого числа матросов, боевых друзей, товарищей, знакомых и родственников. Похороны состоялись 3 августа 1919 года на Ваганьковском кладбище. Похоронили А. Г. Железнякова рядом с его другом В. И. Киквидзе. Эпитафию на его могилу написал… К. Е. Ворошилов: «Имена таких народных героев, как Чапаев, Щорс, Руднев, Пархоменко, Лазо, Дундич, матрос Железняков и многих других, будут постоянно жить в сердцах поколений… Они вдохновляют нашу молодежь на подвиги и героизм и служат прекрасным примером беспредельной преданности своему народу, Родине и великому делу Ленина».
На траурной панихиде рядом с красными большевистскими знаменами развевались черные знамена анархистов. А во время прощания с Железняковым в Доме анархии кто-то громко крикнул: «Анархисты доказали, что могут умирать за большевиков. Пусть теперь большевики докажут, что могут жить с анархистами!»
Классическую трактовку обстоятельств гибели А. Г. Железнякова описала первой украинская газета «Вісті» от 29 июля 1919 года: «26 июля в 3 часа дня, когда бронепоезд пробился через станцию Верховцево на Екатеринославском фронте, тов. Железняков, который был со всех сторон окружен, отбивался, как лев, от наседавших на него врагов. Увидев казачьего офицера-артиллериста, который намеревался пробить броню, тов. Железняков высунулся из командной башни, застрелил артиллериста. Еще момент – и пуля в спину подкосила тов. Железнякова. Пуля прошла навылет. Падая, он передал командование своему помощнику, дав ему некоторые боевые распоряжения. Бронепоезду удалось пробиться, и раненый был доставлен в санитарный поезд, чтобы ехать в Кременчуг, но кровотечение стало настолько сильным, что тов. Железняков в 9 часов умер. Умирая, раненый сказал: «Я чувствую, что умираю, но смерть не страшна, мне только больно, что к вам придет эта сволочь – белогвардейцы» В этот момент музыка заиграла под окном «Интернационал». Раненый сделал последнее усилие и крикнул: «Да здравствует революция! Да здравствует Советская социалистическая Россия!».