Фрондёрство Бернадота продолжилось и в атмосфере "семейного единения", и основания для недовольства Бернадотом у Наполеона были достаточно веские. 18 апреля 1802 года Франция праздновала подписание Амьенского мира и заключение с Ватиканом т. н. конкордата, по которому в стране возобновляла свою деятельность католическая церковь. Заключение конкордата было воспринято как в стране, так и в непосредственном окружении Наполеона неоднозначно. Многим соратникам Наполеона ещё были памятны реакционеры в сутанах, и примирительный по отношению к церкви шаг они считали самоубийственным. Наиболее ярыми противниками конкордата были генералы. После заключительной молитвы Те Deum в соборе Парижской Богоматери генерал Дельма подошёл к первому консулу и бросил ему прямо в лицо такие слова: "
Несколько раньше, когда первый консул после процедуры подписания конкордата в том же соборе Парижской Богоматери с папой Пием VII 15 июля 1801 года обратился к стоявшему рядом Бернадоту с вопросом: "
Дельма собрал единомышленников — генералов Лекурба, Доннадье и др. и на первой торжественной службе в соборе Парижской Богоматери собирался обсудить с ними возможности покушения на Наполеона. На этом летучем совещании присутствовал и Бернадот. Он высказался там за смещение первого консула, но против его убийства. Согласно более поздним заявлениям Бернадота, он якобы в этот день предлагал генералам Ожеро, Массена и Макдональду арестовать Наполеона во время богослужения, лишить его власти на основании параграфа конституции, запрещавшего французам исполнение официальных функций в других странах, и выслать его в Италию. (Накануне Наполеон был избран президентом Итальянской республики и, значит, не мог оставаться первым консулом Франции.) Бернадот предлагал учредить директорию из трёх членов, в которую должны были войти он с Моро. По пути в собор Парижской Богоматери он якобы остановил кареты генералов и сделал им это предложение, но никто из них так и не вышел из своих карет.
Мимо Фуше, а значит, и Наполеона эти разговоры не прошли.
Генерал Моро, не явившийся на праздник подписания конкордата и надевший своей собаке кружевной воротник (с намёком на папу Пия VII) дорого заплатил за своё диссидентство. Даву, ставший начальником ещё одной тайной службы, приказал арестовать ближайших помощников Моро и обвинил их в участии в покушении на Наполеона. Скоро наступила очередь и самого Моро.
Недовольство конкордатом и диктаторскими замашками первого консула проявлялось не только среди военных, но и в первую очередь в среде интеллектуалов, депутатов, сенаторов и чиновников, но их голосов не было слышно, потому что они боялись и пикнуть при Наполеоне. В этот период Бернадот стал постоянным участником вечеров в салонах мадам де Сталь и Рекамье, где собирались оппозиционные к Консульству элементы.
Время до весны 1804 года Бернадот, ожесточённый немилостью Наполеона и подавленный бездельем, провёл в Париже, на курортах или в своём имении Лягранж. Полиция Фуше ходила за ним по пятам и составляла отчёты о его совместных с Массена, Моро, Макдональдом и Ожеро интригах. Любой его контакт с официальным лицом, депутатом или сенатором рассматривался правящим режимом под углом зрения неблагонадёжности. Тем не менее Наполеон пока не трогал строптивого беарнца и утешал его (и вероятно, себя) тем, что непременно найдёт ему новое дело.