Вскоре ему пришлось оставить и этот промысел – почти законный во время войны и достаточно прибыльный. Наполеон, недавно ставший из Первого консула императором, готовил "Великую армию" к завоеванию Англии. Огромная по тем временам, численностью почти полмиллиона, войсковая группировка, по замыслу Наполеона, концентрировалась в Булони. При этом император приказал очистить армию от сомнительных элементов и открытых уголовников. Всех их велено было отчислить из полков и посадить на стоявшие в Булони частные суда. Дальнейшая их судьба командование не интересовало.
Не очень понятно, почему это известие так встревожило Видока. Сам он говорит, что не хотел оказаться в окружении отъявленных негодяев. "Отъявленными негодяями" он называл в "Записках" бывших своих сотоварищей, нашедших, как и он в своё время, убежище в армии.
Видок списался на берег, не дожидаясь выполнения приказа. Он поступил в береговую артиллерию, пользуясь всё теми же документами погибшего капрала Лебеля. Во время береговой службы он неожиданно оказался втянутым в антибонапартистский заговор. По его собственным словам, заговорщиков было немало, в основном, морские офицеры и унтер-офицеры (гардемарины), а также некоторое количество офицеров и унтер-офицеров береговых подразделений, входивших в Булонский гарнизон. Общество называлось "Олимпийским", и, как сказано в "Записках", ориентировалось на давнего соперника Наполеона – республиканского генерала Моро. Сам Моро, ранее обвинённый Наполеоном в заговоре против
Первого консула, в это время уже два года жил в Америке. Скорее всего, заговор "олимпийцев" не представлял серьёзной угрозы для власти императора. Может быть, поэтому глава французской полиции Жозеф Фуше не обращал никакого внимания на булонских заговорщиков, несмотря на то, что полиция, по утверждению Видока, знала о его существования всё – вплоть до поимённого списка участников. Тут уместно спросить, почему сам Видок так уверен в информированности полиции. Прямого ответа на этот вопрос в его мемуарах нет.
Заговор "олимпийцев" был раскрыт лишь в 1806 году, через полтора года после того, как Видок оказался вовлечён в этот то ли рыцарский орден, то ли масонскую ложу. Последовали разоблачения, сопровождавшиеся большим числом самоубийств, арестами и трибуналами. Видок счастливо избежал ареста: незадолго до того он покинул Булонь, с несколькими уголовниками, принадлежавшими к так называемой "Армии Луны", весьма разветвлённой шайке разбойников. "Армию Луны" составляли беглые солдаты и матросы, поэтому высокая дисциплина в шайке и привычка к взаимовыручке делала её самой опасной из всех, существовавших тогда в этом неспокойном крае.
При очередной поимке Видока препроводили в уже известную ему тюрьму Дуэ. Здесь у него состоялся примечательный разговор с генеральным прокурором Па-де-Кале. На приказ надеть кандалы, Видок вдруг сказал:
– За что вы так относитесь ко мне, господин прокурор? Неужели только за то, что я долго был в бегах? Но ведь это единственное преступление, которое я совершил, а так я всегда старался честно зарабатывать кусок хлеба!
На первый взгляд, фраза "честно зарабатывать" звучит цинично, но не будем спешить с выводами. Тем более что после такого обращения Видока суровый прокурор, действительно, смягчил режим его пребывания в тюрьме. Во всяком случае, кандалы приказал снять. И даже побеседовал со знаменитым заключённым с глазу на глаз.
Во время пребывания в тюрьме Дуэ, Видок, наконец-то, развёлся. Похоже, он и сам уже забыл, что в Аррасе живёт его жена. Теперь Мари Видок приехала в тюрьму к мужу. Но вовсе не за тем, чтобы скрасить ему заключения. Прямо с порога бывшая девица Шевалье заявила, что давно уже любит другого и теперь намерена за этого другого выйти замуж. Потому ей требуется официальный развод.
Видок немедленно дал своё согласие. Испытал ли он облегчение от того, что вновь стал холостяком, неизвестно. С одной стороны, он никогда не чувствовал себя связанным семейными узами, с другой – время от времени вспоминал навязанную жену и даже навещал её, когда судьба заносила его в Аррас.
В этой же тюрьме он встретил одного из давних своих знакомцев и подельников по брюссельской "Бродячей армии" – "капитана" Лаббе. Несколько вечеров они провели в разговорах и воспоминаниях. Лаббе был приговорён к шести годам каторги и вскоре отправился в Тулон "на галеры". Впоследствии Видок узнал, что его приятель по дороге бежал, был схвачен и отправлен в Антверпен. Здесь "капитан" Лаббе и скончался в октябре 1814 года.
Видок отмечает, что пребывание его в тюрьме Дуэ изрядно затянулось.