Уже на следующий год Екатерина Михайловна порадовала императора дочерью Ольгой, а в 1878 году новая семья императора приросла дочерью Екатериной. К этому времени симпатии Двора и петербургской аристократии были всецело на стороне императрицы Марии Александровны. Ее жалели, уважая ее смиренный нрав и позу всепрощения по отношению к своему супругу. Много прочувствованных слов в адрес императрицы можно найти в мемуарах русских аристократок и дам, трудившихся при Дворе. Княжне Долгорукой достались только слова осуждения, из которых «авантюристка» было не самым сильным. Людская молва лишила княжну Долгорукую права на любовь мужчины, выбравшего ее только на основании личной симпатии, а не в соответствии с династическими инструкциями. В личной переписке Александра и Екатерины историки через много лет обнаружили, кроме привязанности и полного взаимопонимания, большое человеческое чувство. События продолжали развиваться в крайне неблагоприятном для потомства барона Гранси направлении.
Следующим поворотным пунктом стало возвращение императора из Ливадии осенью 1878 года, где он отдыхал после пребывания в действующей армии на Балканах. В сентябре в Крыму княжна Долгорукая родила дочь Екатерину и, вернувшись в Петербург, поселилась с детьми прямо в Зимнем дворце, в трех просторных комнатах третьего этажа. Император устал от конспиративных встреч в городе и решил устроить свою повседневную жизнь несколько комфортнее. Такого знакового поворота событий никто не ожидал. Как пощечину восприняла появление Долгорукой в царской резиденции императрица. В ее окружении, хотя и шепотом, называли поведение императора преступным. Конфликт приобрел невиданную остроту. Вокруг наследника сформировался кружок сочувствующих, но на открытую конфронтацию никто не шел, да и сам император не афишировал своих отношений до такой степени, чтобы разгорелся скандал. Скорее всего, выяснение отношений происходило, что называется, на высшем уровне и в узком семейном кругу, а до ближайшего окружения доходили только отдельные реплики и высказывания. Для пересудов хватало и этого.
Люди, окружавшие императора, понимали, что одно неосторожно сказанное слово может стоить им места. Поэтому шепот по углам при Дворе и осторожная болтовня в петербургских салонах стали нормой придворного поведения. Несомненно, было одно – император наглядно показал, как он относится к своему первому браку. Сигнал был послан в первую очередь императрице, как напоминание о негласных условиях заключения брака: полный запрет на информацию о происхождении Марии Александровны в обмен на такое же абсолютное невмешательство ее в государственные дела. Стороны контракта точно соблюдали его условия, но Мария Александровна была в этом брачном договоре куда более зависимой стороной, чем ее супруг император Александр II. Любая огласка ее происхождения и подробностей запрета, наложенного Николаем I на историю похождений ее матери Вильгельмины Баденской, могла привести к грандиозному династическому скандалу. Причем под удар попадали все браки, заключенные детьми Марии Александровны, и прежде всего брак наследника-цесаревича Александра Александровича с дочерью датского короля принцессой Дагмар, а также брак ее дочери Марии Александровны с сыном английской королевы Альфредом, герцогом Эдинбургским. Эти международные брачные династические союзы могли в одно мгновение обесцениться и превратиться в морганатические. Именно такую перспективу разглядела в свое время дочь прусского короля и мать Александра II императрица Александра Федоровна. Она, как могла, пыталась отговорить сына от опасной комбинации с принцессой из Дармштадта, рожденной от придворного слуги. Безусловно, настоящим мотором брака русского цесаревича и дармштадской принцессы был сам Александр, но тогда он был молод и горяч и не мог предполагать, что через двадцать пять лет встретит женщину, с которой его свяжут отношения, далекие от результатов монархического кастинга. Для императрицы Марии Александровны и ее детей появление княжны Долгорукой со своими детьми в Зимнем дворце означало только одно – перспективу повторного брака императора и, как следствие, коронацию новой супруги.