Нижегородский помещик, отставной штабс-капитан Иван Яковлевич Каратаев, глубоко почитавший батюшку и бывший его духовным чадом, поставил над могилой надгробный памятник. А вскоре после кончины батюшки на его могиле начали происходить чудесные исцеления. Первой исцелилась купчиха, которую привезла в Бортсурманы ее дочь. Ехали к живому, но опоздали -батюшку несколько дней как схоронили. Купчиха страдала душевной болезнью, и ее дочь в одиночестве помолилась на могиле отца Алексия - поплакала, отслужила по нему панихиду... Когда она вернулась домой, то, к своему изумлению, нашла свою буйнопомешанную мать совершенно здоровой. После этого случая фраза «Кто меня будет помнить, того и я не забуду» стала понятной многим. На могилу батюшки началось настоящее паломничество. Особенно помогала при различных болезнях земля с могилы старца. Ее принимали и с водой, и просто съедали немножко. Помогали и панихиды, отслуженные на могиле. Так, в 1893 году курмышская вдова Наталья Петровна Мурзанева отслужила панихиду по отцу Алексию, надеясь вылечить от непонятных припадков грудную дочь Веру. Припадки и малокровие у нее бесследно исчезли, когда девочку посадили на могилу священника. В 1911 году при похожих обстоятельствах выздоровела бортсурманская крестьянка Маша Сеянова.
В начале ХХ века (примерно с 1911 года) количество чудес на могиле отца Алексия Гнеушева особенно возросло. Не проходило ни праздника, ни воскресного дня, чтобы у его надгробия не служили панихиды, народ благоговейно увозил с собой целебную землю с могилы. Пошли разговоры о том, что пора отцу Алексию «выйти на землю»... И в 1913 году в Бортсурманы приехала комиссия из Нижегородской духовной консистории - обобщить накопившиеся к тому времени устные и печатные сообщения о чудесах, связанных с именем священника. Работала комиссия весьма тщательно - все сообщения многократно проверялись, опрашивались свидетели чудес, тем, кто жил далеко, высылались опросные листы. Тогда же было сделано подробное описание надгробия священника: «Могила о. Алексия находится в восточной части церковной ограды, в расстоянии одной сажени и одного аршина от алтарной стены храма, в прямом направлении от горнего места. От времени или других обстоятельств на могиле не сохранилось насыпи, или возвышения и только надгробный памятник указывает посетителю место упокоения о. Алексия. Этот памятник - четырехугольный чугунный столб, аршина 21/2 высоты, расширяющийся в своем основании и в верхней части, он учрежден на кладке из белых камней, вросших в землю. На стороне памятника, обращенной к храму, имеется следующая надпись буквами, вылитыми на чугунной доске:
“Господи, Господи. Прими на лоно Авраама душу раба Твоего в Бозе почившего иерея Алексия”.
На другой стороне написано:
“Приношение это сделано в знак истинного уважения к молитве и трудам подвижника от сына его духовного П-ла Я-ва К...ва”.
На третьей стороне имеется надпись:
“День его ангела был Мая 20-го дня. Священствовал 52 года при церкви села Бортсурман Курмышскаго уезда”.
На 4-й стороне памятника написано:
“Здесь лежит тело иерея Алексея Петровича Гнеушева. Он родился в 1762 году Мая 13 дня, а скончался в 1848 году Апреля 21-го дня имея от роду 85 лет 11 месяцев и 22 дня”. К чугунному основанию памятника прикреплена чугунная же доска, на которой имеется следующая надпись:
“Дядинька. Умоляю тебя не забывать своего обещания и по смерти всегда быть с нами. П...ръ А....въ Ра.....кий”».
(Этот П...р А...в Ра..кий - родной племянник отца Алексия, Петр Алексеевич Раевский (1796 —?), усердный жертвователь Бортсурманского храма, а вот имя помещика Каратаева, установившего памятник, описывавшие его разобрали неверно, - его звали Иваном.)