По этим причинам, а также и потому, что мне надоело быть свидетелем капризов Клейнмихеля, я решился 16 декабря 1850 г. послать к нему прошение на Высочайшее имя об увольнении меня от службы, рассчитывая по получении отставки заняться в деревне хозяйством и в особенности торговлею лесом, а в случае неуспешного хода моего хозяйства, поступить в гражданскую службу, в которой M. Н. Муравьев обещался по дружбе своей с министром внутренних дел Перовским определить меня на первую вице-губернаторскую вакансию. При открытии же вакансии председателя межевой канцелярии, Муравьев желал, чтобы я принял на себя эту должность.
Две недели просьба моя об отставке оставалась без всякого движения. Я в это время не ездил к Клейнмихелю и постоянно бранил его за то, что он не дает хода моей просьбе. В ночь с 30 на 31 декабря я был разбужен повесткой, которою я приглашался быть у Клейнмихеля 31 декабря в час пополудни. Я приехал несколькими минутами ранее; дежурный адъютант Бутурлин сказал мне, что Клейнмихель не приказал никого принимать, кроме меня, а обо мне не докладывать, что он сам меня позовет к себе. Спустя несколько минут Бутурлин спросил меня, не доложить ли обо мне; я ему отвечал, что, по-моему, лучше придержаться приказания, данного Клейнмихелем, а впрочем, чтобы делал, как он знает. Почти в это самое время Клейнмихель показался у двери своего кабинета и позвал меня в кабинет. Когда я взошел в него, Клейнмихель сидел на круглом купе, стоявшем посредине кабинета; придав своему лицу болезненный вид, он самым нежным голосом сказал мне, что полученное им прошение мое об отставке его крайне удивило, что он не может постичь причины такого поступка с моей стороны, что он не только теперь, но и всегда был отлично расположен ко мне, что он никогда на меня не возлагал никаких обязанностей, кроме служебных, так что моя служба есть служба Государю, равно как и его служба, конечно, в разных положениях, определившихся и долговременностью его службы и тем, что он в ее начале был уже близок к Государю и занимал важные должности. Затем он выразил неудовольствие на то, что я, не переговорив с ним, прислал рапорт с прошением об отставке, который, быв распечатан в канцелярии, сделался известным, что ему очень не нравится, так как многие приходят в канцелярию справляться, что делается с моей отставкой, в особенности это занимает Серебрякова (состоявшего также при нем по особым поручениям), которого он при этом рассказе назвал {не иначе как} «белой вошью». В заключение он меня спросил, что могло понудить меня просить об отставке, сколько лет я состою при нем, был ли во все это время хотя один случай, при котором он сделал бы мне какую-либо неприятность, и что, может быть, я недоволен, не получая достаточно наград по службе.