Политические группировки, столкнувшиеся в годы революции в ожесточенной борьбе, не переставая обвиняли друг друга в стремлении возвратиться к дореволюционному, старому режиму. Конституционных монархистов подозревали в подготовке воцарения представителя младшей линии Бурбонов, герцога Филиппа Орлеанского. В том же подозревали дантонистов. Как мы знаем, левым якобинцам инкриминировали тайный умысел установить регентство при возведенном на престол дофине. В подобном же намерении потом стали обвинять Робеспьера, а также в том, что он собирался жениться на старшей сестре дофина Марии-Терезе (будущей герцогине Ангулемской), как и ее брат, содержавшейся в тюрьме Тампль. Наличие таких же замыслов вменяли в вину и другим политикам во время террора. (Позднее один из видных деятелей того времени, Камбасерес, ставший имперским канцлером в правление Наполеона, уверял: «Они все желали на ней жениться, начиная с Робеспьера».) И, главное, многие таким слухам верили. 9 термидора ярый враг Робеспьера член Конвента Леонар Бурдон сумел убедить вооруженный отряд секции Гравилье, шедший на помощь робеспьеристам, укрывшимся в Ратуше, что Робеспьер рассчитывает уничтожить Республику и жениться на дочери казненного короля. Колонна после этого вместо помощи робеспьеристам сыграла большую роль в штурме Ратуши и пленении Робеспьера и его сторонников. Между прочим, обвинения Робеспьера в скрытом роялизме вполне совмещались тогда с обвинением его в Конвенте в желании стать «новым Кромвелем» (Сен-Жюст действительно считал целесообразным наделение его диктаторской властью).
Поскольку обвинения, о которых шла речь, постепенно приобретали всю большую известность, власти, к какой бы фракции они ни принадлежали на том или ином этапе революции, принимали самые строгие меры, чтобы не допустить увоза дофина, а также его сестры из Тампля. Принималось в расчет, что они, помимо всего прочего, являлись важными заложниками, которых можно было обменять на республиканцев, содержащихся в плену у неприятельских держав.
В качестве воспитателя Шарля-Луи был назначен сапожник Антуан Симон, считавшийся убежденным республиканцем, который должен был привить такие же взгляды «волчонку», как прозвал его Эбер, или «сыну Капета» (Людовика XVI, потомка династии Капетингов), как дофина именовали в официальных бумагах. О том, как Симон относился к ребенку, имеются противоречивые сведения. В роялистских кругах утверждали, что обращение было самым жестоким, если не бесчеловечным. С другой стороны, сохранились денежные счета за игрушки и птиц, купленных Симоном для его подопечного, за стирку белья, имеются сведения, что жена «воспитателя» Мария-Жанна Симон привязалась к мальчику. Некоторые высказывания Марии-Терезы как будто говорят о том, что она дружелюбно относилась к супругам Симон.
Существуют основания предполагать сотрудничество Симона с роялистским подпольем и иностранными разведками (сведения об этом были обнаружены в последнее время в испанских архивах). В донесении одного из разведчиков, полученном министром иностранных дел Годоем, от 5 марта 1794 г. говорилось: «Уже давно Симон — один из наших людей. И он детально информирует нас о том, что происходит, в чем Ваше Превосходительство могло убедиться на протяжении ряда месяцев». В донесении подробно перечисляются услуги, оказанные Симоном (как до, так и после его отставки с поста воспитателя дофина, о которой еще пойдет речь ниже). Очевидно, это материалы, восходящие к «Парижскому агентству». Не обошлось и без просто фальшивок. В 1923 г. был опубликован явно подложный отчет Симона, якобы направленный 19 января 1784 г. в Вену и Ватикан о бегстве дофина.
Тщательная охрана Тампля только поощряла слухи, что власти опасаются похищения дофина. Летом и осенью 1793 г. барон Батц предпринимал неудачные попытки организации бегства королевы и ее сына. Начиная с октября того же года, аналогичные планы строил один из участников «Парижского агентства» Франсуа Николя Сурда, в прошлом глава полиции в одном из провинциальных городов, а впоследствии судебный чиновник во времена Консульства и империи. Его активность породила резкую критику со стороны другого руководителя шпионского центра, аббата Андре Шарля Бротье, который уже после термидорианского переворота сообщал в ноябре 1794 г., что Сурда находится в плену «тысячи химер».