К счастью для Абрама Петровича, Пётр II тоже недолго царствовал. Новая императрица Анна Иоанновна вернула Ганнибала из ссылки и дала ему чин капитана Инженерного корпуса.
В возрасте тридцати пяти лет Абрам Петрович женился на Евдокии Андреевне Диопер и уехал с ней в Пернов (ныне Пярну), где было его новое место службы. Брак оказался неудачным: красавица гречанка родила белую девочку, которую Ганнибал отказался признать своей дочерью, но оставил её при себе, назвав Поликсеной. Девочка получила хорошее воспитание, вовремя была выдана (с богатым приданым) замуж, но никогда не видела сомнительного отца. Что касается подкачавшей супруги, то Абрам Петрович с ней развёлся и заставил постричься в монахини.
21 мая 1733 года Ганнибал, ссылаясь на увечья, «принятые от чрезвычайно трудных походов», вышел в отставку и поселился на мызе Каррикуля Ревельского уезда. Там он женился второй раз. Его избранницей была шведка Христина фон Шебер, родившая арапу Петра Великого кучу чёрных детей.
В отставке Абрам Петрович жил на пенсию сто рублей в год. Содержать на эти деньги многодетную семью было трудно, и 3 ноября 1740 года он обратился за помощью к всесильному графу Б. Х. Миниху:
«В великой надежде припадаю к стопам вашим слёзно повелеть явить со мною Божеское милосердие. Чтоб я был награждён по единому высокому милосердию Вашего Высокографского Сиятельства моего Высокого патрона и Государя: пожаловать мне и детем моим в вечное владение деревнишку мужиков восемь ис коронных в Ревельском уезде.
За что воздаст Господь Бог здесь и в будущих веках, а я не-престану с бедными моими детьми вечно Всемогущего Творца просить о здравии и о благополучии Вашего Высокографского Премилосердного Государя.
Всепокорный и всепослушный раб
Абрам Петров Ганнибал».
Столь унизительное для человеческого достоинства послание убедительно свидетельствовало о крайней нужде бывшего любимца великого человека. Действительно, у арапа Петра I было одиннадцать детей, до взрослых лет дожило четыре сына (Иван, Пётр, Осип, Иоанн) и три дочери (Елизавета, Анна, София).
Миних не успел помочь Абраму Петровичу, но на счастье его скончалась императрица Анна Иоанновна. Новая государыня, дочь Петра I Елизавета вспомнила верного слугу своего родителя (и брата по крещению). Её указом Ганнибалу была пожалована Михайловская губа в Псковской губернии и деревня Рахула близ Ревеля.
Ганнибал стал быстро продвигаться по служебной лестнице: произведён в генерал-майоры и назначен обер-комендантом Ревеля. Затем из армейского генерала стал генерал-майором от фортификации. В обязанности Абрама Петровича входило руководство технической частью Корпуса военных инженеров России.
В 1759 году Ганнибал был произведён в генерал-аншефы, а 26 июня 1762-го указом Петра III уволен, прослужив России 57 лет.
Последние два десятилетия своей жизни (умер Абрам Петрович в 1781 году) Ганнибал провёл в подаренных ему владениях. Пушкин писал об этом периоде жизни своего прадеда:
В истории Абрам Петрович Ганнибал остался не только как один из предков гениального поэта, но и как выдающийся организатор военно-инженерного дела в России.
Из сыновей А. П. Ганнибала прославился Иван Абрамович (1731–1801), крупный военный деятель последней четверти XVIII столетия, участник ряда морских сражений.
10 апреля 1770 года, будучи в чине бригадира, И. А. Ганнибал с тремя кораблями и отрядом десантников взял греческий портовый город Наварин.
К Чесменскому сражению Ивану Абрамовичу было поручено подготовить четыре брандера, корабли, нагруженные горючими и взрывчатыми веществами. Два из них прорвались к турецкой флотилии и почти полностью сожгли её, тем самым решив участь сражения.
Оба этих события упоминаются в лирике Пушкина:
Чесменское сражение (24.06.1770) было увековечено колонной, воздвигнутой в Царскосельском саду. Пушкин упомянул этот памятник в стихотворении «Воспоминания в Царском Селе»: