Под влиянием А.А. Головкина, работавшего над сочинением об образовании девочек, Ромм тоже увлекся теорией педагогики и даже написал работу о преподавании математики. Впрочем, эта рукопись так никогда и не была опубликована, до наших дней не дошла, и сегодня мы знаем о ней лишь по беглому упоминанию в книге графа: «Сей предмет [математика] гораздо менее труден, чем о нем думают. Многочисленные наблюдения показали мне, что успешное постижение этой науки, столь способствующей ясности, гибкости и точности мышления, зависит от манеры объяснять и наглядно демонстрировать ее первичные элементы. Г-н Ромм, почтенный литератор и знающий физик, имеет на сей счет сочинение, насыщенное философскими идеями и отличающееся убедительностью и эрудицией. Я настаиваю, чтобы он его сделал достоянием публики ради той части нации, которая ценит науки. Он уже собрал материал, и эта книга могла бы оказаться слишком полезной, чтобы отказываться от ее публикации». Однако, поскольку сочинение Ромма так никогда и не увидело свет, нам остается либо верить графу на слово, что оно было, действительно столь хорошо, чтобы оправдать подобные эпитеты по отношению к автору, либо проявить снисхождение к вполне по-человечески понятному желанию подчеркнуть достоинства друга, пусть даже несколько утрируя их.
Впрочем, теория теорией, а практика практикой. После приезда семьи Строгановых в Петербург Ромму очень скоро пришлось ощутить тернии, которыми была усеяна его новая стезя. Социальный статус француза-учителя был в России не слишком высок, и графиня Строганова незамедлительно дала ему это почувствовать. Великий князь Николай Михайлович опубликовал фрагмент из письма Ромма графине (оригинал не сохранился), свидетельствующий о напряженности отношений между гувернером и матерью Попо:
«Если бы я был у Вас в доме частным человеком, свободным от каких-либо обязательств, недоразумения, возникающие между нами, были бы столь же смешны для меня, сколь несправедливо то, из-за чего я сочтен недостойным Ваших милостей… Но Вы забываете, что доверили мне самое дорогое, что у Вас есть на свете… Я снесу невнимательность, несправедливости, капризы, но унижение и оскорбление – никогда… Только из долга я сопровождаю Вашего сына в свете. Недоверие и в некотором роде бесчестие, составляющие в этой стране удел гувернеров, слишком задевают мою чувствительность, чтобы я не старался изо всех сил как можно меньше тревожить своим присутствием тех особ из Вашего круга, кому противно дышать одним воздухом с
Хотя письмо не датировано, а великий князь относит его к тому периоду, когда графиня Строганова уже перебралась жить в Москву, из текста совершенно очевидно, что оно относится ко времени проживания Ромма и матери Попо под одной крышей, то есть к самому началу его карьеры в России.
Впрочем, вскоре Ромм оказался избавлен от неприятного соседства. После возвращения графини Строгановой ко двору за нею стал ухаживать бывший фаворит императрицы И.Н. Римский-Корсаков, быстро добившийся взаимности. Их роман развивался на протяжении 1780 года, пока, наконец, узнав о нем, Екатерина ІІ не отправила графиню на постоянное проживание в ее подмосковное имение Братцево в феврале 1781 года. Оставшийся же в Петербурге Александр Сергеевич практически неотлучно находился при императрице, полностью препоручив сына заботам наставника.