Семья Воронцовых: сестра Екатерина Дашкова и оба брата Елизаветы Романовны — Семён и Александр Романовичи — не отвернулись от несчастливой фаворитки императора Петра III Феодоровича, все они любили её и помогали ей. Была ли она подлинной фавориткой императора Петра III? Объявленная официальной фавориткой при российском императорском дворе, Елизавета Воронцова, в силу своего характера, малой образованности и невоспитанности, не получила никаких поручений государственного характера и не принимала никакого участия ни в назначении на государственные посты, ни в первенстве при дворе, никого из придворных не преследовала, никому не делала никакого вреда. Напротив, в тяжёлые для императрицы Екатерины Алексеевны дни она смягчала отношение к ней Петра Феодоровича, и Екатерина порой прибегала к её заступничеству.
Елизавета Романовна Полянская (Воронцова) скончалась 2 февраля 1792 года на пятьдесят третьем году жизни, оставив о себе в своей семье добрые воспоминания.
Фаворитки императора Павла I — Екатерина Нелидова и Анна Лопухина
Екатерина Нелидова была девушкой некрасивой, но миловидной и с живым выражением лица, а особенно чёрных глаз, светящихся умом и проницательностью. Она отличалась грациозностью движений, великолепной пластикой и потому преуспела в танцах. Д. Г. Левицкий изобразил её танцующей менуэт на фоне дворцовой парковой панорамы, в позе, полной женской грации и кокетливого очарования.
Не успел отгреметь первый выпускной бал смолянок, как 16 апреля 1776 года великая княгиня Наталия Алексеевна (принцесса Августа-Вильгельмина-Луиза Гессен-Дармштадтская) скончалась при родах. Служение фрейлиной при малом дворе пришлось на время отложить. По существовавшим в Воспитательном обществе благородных девиц правилам Екатерина Нелидова оставалась в Смольном институте в качестве «пепиньерки» (то есть воспитательницы, помощницы преподавателей института), как говорится, до лучших времён.
Великий князь Павел Петрович сначала так сильно горевал по поводу смерти жены, что готов был отрешиться от всего земного. Екатерина II, желая прекратить его страдания, открыла ему тайну великой княгини Наталии Алексеевны, изменявшей своему супругу с его другом детства Андреем Разумовским, сыном знаменитого гетмана Украины Кирилла Григорьевича Разумовского и племянником Алексея Григорьевича Разумовского, фаворита императрицы Елизаветы Петровны. Неопровержимое доказательство её измены — переписка Наталии Алексеевны с Андреем Разумовским, представленная ему Екатериной II, — отрезвляюще подействовало на наследника престола, и через пять месяцев после кончины Наталии Алексеевны, 26 сентября 1776 года, он женился на принцессе Софии-Доротее-Августе-Луизе Вюртембергской, принявшей православное имя Мария Феодоровна. И тогда Екатерина Ивановна Нелидова приступила к выполнению обязанностей фрейлины малого двора великих князей Павла Петровича и Марии Феодоровны.
Несмотря на некрасивость, фрейлина Нелидова очаровывала своей грациозностью, весёлостью, остроумием и подкупала всех, кто был с ней знаком, глубокими знаниями, простотой поведения и искренностью. Она была умна, образованна и начитанна, умела вести беседы на многие темы, проявляя в них твёрдость характера, благородство души и желание быть полезной обществу.
Великая княгиня Мария Феодоровна, по просьбе великого князя Павла Петровича, но ссылаясь на честное служение фрейлины Нелидовой, её ум и благородство, а особенно на её готовность служить людям, испросила у Екатерины II разрешение на перевод Нелидовой в придворное звание камер-фрейлины малого двора, на что был дан положительный ответ. В то же время Екатерина II, чтобы избежать сплетен и конфликтов, назначила Екатерину Ивановну на должность начальницы Смольного института, что заставило Нелидову переехать на жительство в Смольный и бывать при дворе только в особых случаях.