После переворота 1762 г. Ф.Г. Орлов стал капитаном Семеновского полка, был возведен с братьями в графское достоинство, сделан камер-юнкером, а затем – камергером. Затем он служил в Правительствующем Сенате при текущих делах и имел место за обер-прокурорским столом, в 1764 г. получил орден Св. Александра Невского. В турецкую войну он вернулся на военное поприще, командовал десантными войсками, участвовал и едва не погиб в Чесменском морском бою. За свои воинские достижения получил орден и иные знаки воинского отличия и чин генерал-поручика. В 34 года с чином генерал-аншефа Ф.Г. Орлов вышел в отставку и больше не служил, хотя Екатерина II жалела об этом. После этого он поселился безвыездно в Москве, где жил обычно в холодное время года, а в теплый период предпочитал свою усадьбу Нерастанное.
Из-за своего эгоистического характера и неумения уступать желаниям кого-либо он не смог создать полноценную семью. Тем не менее от двух женщин у него были 6 сыновей и 2 дочери, но двое из его детей умерли в раннем детстве. Одну из этих женщин почитал своей женой, прожил с ней много лет в гражданском браке, невенчанным, хотя их 5 сыновьям это грозило – после его смерти – утратой прав на графский титул и богатства. Но Ф.Г. Орлов написал письмо Екатерине II, смог уладить этот щекотливый вопрос. Все 6 сыновей назывались его «воспитанниками». Он строго наказывал им жить дружно, поддерживать и помогать друг другу; впоследствии все они стали заметными людьми в Москве и Петербурге (например, Алексей стал генералом от кавалерии, председателем Государственного совета, шефом жандармов, графом и затем князем, Михаил – генерал-майором, флигель-адъютантом и т. д.). Дети Ф.Г. Орлова крепко помнили, как умирая, их отец собрал своих сыновей и сказал им: «Держитесь крепче. Нас – братьев Орловых – даже Потемкин не сломал». Сыновья Ф.Г. Орлова свято выполняли наказ отца, хотя были разными по натуре, имели разные политические убеждения. Так, Михаил, ставший в 26 лет блестящим генералом (в 1814 г. ему сдался Париж), был другом А.С. Пушкина, членом тайного общества «Союз благоденствия», но в 1821 г. вышел из него (тем не менее будущие декабристы считали его своим человеком). После восстания декабристов в 1825 г. брат императора Николая I Михаил говорил: «Орлову – первая веревка». Брат Михаила Орлова – Алексей – был его политическим противником, ближайшим другом и любимцем Николая I. Хотя А.Ф. Орлов осуждал брата за участие в тайном обществе и восстании, тем не менее он вымолил у Николая I существенное смягчение наказания М.Ф. Орлову – его всего лишь сослали в одно из его имений в Калужскую губернию, а в 1831 г. и вовсе разрешили жить в Москве. Есть и другие примеры взаимопомощи и поддержки детей Ф.Г. Орлова.
Ф.Г. Орлов и в Москве, и в Нерастанном жил исключительно как хотел, считал, что он заслужил наслаждаться жизнью и уже все, что должен и мог, сполна сделал для России и императрицы. Умер он в возрасте 55 лет и был похоронен в с. Отрада.