Малышка еще ничего не понимает, а вокруг нее уже плетутся интриги. Вот что рассказывает Варвара Голицына: «Князь Чарторыйский, оставаясь близким другом Александра Павловича, дал повод к клевете, при помощи которой старались испортить репутацию великой княгини Елисаветы. Ее свекровь, постоянно завидуя своей невестке, не упускала случая ей навредить. Граф Толстой, играя роль самого усердного и верного слуги около их императорских высочеств, в то же время был первым поверенным императрицы, ее шпионом и низким прислужником. До этого времени государь обходился с Елисаветой очень хорошо. После ее родов он часто и подробно расспрашивал о маленькой великой княжне и высказывал желание иметь внука.
В Павловске императрица приказала Елисавете прислать ей ребенка, хотя девочке было всего три месяца, а от дома великого князя до дворца было довольно далеко. Пришлось повиноваться, и потом, когда девочку привезли обратно, великая княгиня узнала от дам, сопровождавших ребенка, что Мария Феодоровна носила его к государю. Нисколько не подозревая грозы, собравшейся над ее головой, Елисавета была благодарна государыне, считая это просто желанием приучить государя к внучке. Она жестоко ошибалась и скоро убедилась в этом, но виновникам ее несчастья удалось скрыть от нее часть истины и обратить ее возмущение против тех, кто менее всего этого заслуживал.
Граф Ростопчин и Кушелев находились рядом с кабинетом государя, когда мимо них прошла императрица с маленькой великой княжной на руках. Она сказала им:
— Не правда ли, какой прелестный ребенок? — и прошла в кабинет государя. Через четверть часа она оттуда вышла довольно скорым шагом, а затем Кутайсов, от имени государя, позвал Ростопчина в кабинет, говоря ему по-русски:
— Господи, и зачем только эта несчастная женщина ходит расстраивать его своими сплетнями!
Ростопчин вошел к государю и застал его в состоянии полного бешенства.
— Идите, сударь, и немедленно напишите приказ о ссылке Чарторыйского в Сибирский полк. Жена сейчас раскрыла мне глаза на мнимого ребенка моего сына. Толстой знает об этом, так же как и она.
Ростопчин отказался повиноваться и возразил его величеству, что переданное ему было ужасной клеветой и что ссылка князя Чарторыйского опозорит великую княгиню, столь же невинную, как и добродетельную, но ему не удалось поколебать решения императора. Тогда Ростопчин, видя, что невозможно его разуверить, ограничился заявлением, что никогда не согласится написать подобный несправедливый приказ, и ушел из кабинета. Государь прислал ему записку, где излагал обстоятельства, оправдывавшие отданное им приказание. Ростопчин вновь отказался повиноваться, и гнев государя наконец успокоился. Графу удалось получить согласие его величества на то, что Чарторыйский будет удален без шума и его назначат посланником к королю Сардинии.
На другой же день утром великий князь Александр узнал от князя Чарторыйского, что тот получил приказание уехать из Павловска и поскорее отправиться в Италию в качестве посланника от России к королю Сардинии, которого революционная смута и война вынудили покинуть свое государство и блуждать по разным областям Италии, где еще было спокойно. Великий князь был поражен. Это назначение слишком походило на ссылку, чтобы можно было ошибиться, и ни он, ни князь Чарторыйский в этом нисколько не сомневались.
Великий князь поспешил к жене и сообщил ей о своем горе. Оба терялись в догадках, что могло бы так внезапно вызвать это событие. После обеда их императорские высочества простились с князем.
Скоро до них дошли слухи, что некоторые лица пытались объяснить это удаление причиной, оскорбительной для великой княгини. Елисавета была глубоко возмущена этим, и, когда она вечером входила к государю, на ее лице еще были заметны следы этого чувства.
Войдя в комнату, где обыкновенно дожидались его великие княгини, Павел, не говоря ни слова, схватил Елисавету за руку, повернул лицом к свету и уставился на нее самым оскорбительным образом. Начиная с этого дня он не разговаривал с ней в течение трех месяцев».
Охлаждение императора к Елизавете хотя и очень тревожило ее, но одновременно давало ей возможность уединения. Голицына отмечает: «Великая княгиня Елисавета жила только для своего ребенка: огорчения, ею перенесенные, заставляли считать особым преимуществом то уединение, в котором она жила. Она видалась только с лицами, оставленными при Александре, и с несколькими фрейлинами».