Благодаря этим занятиям Лас-Каз часто оставался наедине с Наполеоном, что возбуждало жгучую ревность в маленькой колонии, где, казалось бы, общие несчастья должны были вызывать общие чувства. Гурго давно доказал свою безграничную преданность Наполеону, но все его хорошие качества перечеркивались чрезмерной гордостью и постоянной завистью. Он участвовал в последних кампаниях и считал, что имеет исключительное право помогать Наполеону с военными историями, а поэтому чувствовал себя оскорбленным, когда видел, что Лас-Каз стал доверенным лицом Наполеона. Однако пришел и его черед. Когда предметом диктовки стал завершающий период Империи, генерал Гурго, лучше знакомый с этим этапом истории, наслаждался привилегией вести долгие беседы наедине со своим господином. Столь же импульсивный, сколь и смелый, он не мог контролировать свои чувства, и в том узком кружке, где малейший порыв оказывается на виду, часто становился причиной ссор и раздражения.
Эти споры лишь усиливали беспокойство Наполеона. Он старался сгладить враждебность, которую чувствовал, даже когда друзья пытались скрыть ее от него, и использовал свой авторитет, чтобы подавить надменность Гурго и успокоить задетые чувства Лас-Каза, сдержанного и нередко угрюмого человека. «В чем дело? – обращался он ко всем, – мало нам горя? Надо добавить еще, своими же руками? Если вас не останавливает мысль о том, чем вы обязаны друг другу, подумайте о том, чем вы обязаны мне. Неужели вы не видите, какую боль причиняете мне своими спорами? Когда вы вернетесь в Европу, а это случится скоро, ибо жить мне осталось недолго, вы будете известны тем, что разделили мое заточение на этой скале. Вы отбросите разобщение, которое сейчас существует между вами; вы будете говорить о дружбе и называть себя братьями по Святой Елене. Если когда-нибудь это всё равно придется сделать, почему бы не начать сейчас – не только ради вашего чувства собственного достоинства, но и ради моего мира и спокойствия?»
Несмотря на постоянную охрану, изгнанники иногда выходили под разными предлогами в город, чтобы получить хоть какие-нибудь новости о внешнем мире. Их сопровождал охранник, которому они поручали сторожить своих лошадей, получая таким образом чуть больше свободы. Владелец «Бриаров», назначенный поставщиком продовольствия в Лонгвуд, часто помогал им с крайне безобидной корреспонденцией, которая ограничивалась сообщениями на бытовые темы, а самое преступное сообщение касалось жестокости британского правительства. Пленникам следовало ограничиться этими безобидными посланиями и не делать ничего, что могло возбудить подозрение Лоу. Тем не менее Лас-Каз написал на куске шелка подробный отчет об их мучениях на острове Святой Елены; шелк легко было спрятать, и его доверили слуге, который собирался возвращаться в Европу. Лас-Каза раскрыли – либо из-за предательства слуги, либо из-за тщательного обыска, – и граф, который фактически нанес персональную обиду Хадсону Лоу, был вынужден покинуть остров. Вооруженный конвой взял его вместе с сыном под стражу и доставил в Джеймстаун. Губернатор сообщил Лас-Казу, что поскольку нарушены правила, запрещавшие тайную переписку, его отправят на Мыс, а оттуда в Европу. У него не оставалось выбора, кроме как подчиниться. Бумаги Лас-Каза осмотрели и обнаружили среди них дневник, в который он записывал беседы с Наполеоном, и рукопись итальянских кампаний. И то и другое временно конфисковали.
Наполеон страшно разозлился из-за подобного вторжения в его частную жизнь и потери столь нужного человека как Лас-Каз. Он потребовал назад рукопись, которую ему вернули, и горько сетовал, что Лас-Каза выдворяют за совершение столь естественного и невинного поступка – за описание страданий, которые ему довелось испытать. Довольно быстро стало ясно, что никто не помышлял о побеге, так как в конфискованных бумагах не нашли никаких намеков на подобные планы. Поскольку в это время у берегов Святой Елены не стояло ни одного судна, готового к отплытию, Лас-Каза задержали на острове, но запретили любые контакты с Лонгвудом. Это отсрочка дала Хадсону Лоу время подумать, и он понял, что в Европе Лас-Каз может причинить ему и английскому правительству больше вреда, чем на острове Святой Елены, ибо, став свободным, сможет высказать свое мнение о пережитых страданиях, и такое мнение дойдет до внимания английского парламента. Тогда Лоу обратился к Лас-Казу с предложением: ему позволят вернуться в Лонгвуд при условии, что он сделает выводы и больше не будет заниматься тайной перепиской. Однако те же мысли посетили и Лас-Каза.