Все эти мероприятия сильно восстановили многих против Консальви и недовольство усиливалось со всех сторон. Его враги не остановились даже пред ребяческим измышлением, приписав ему письмо, с которым он, будто бы, обратился к Наполеону, находившемуся на острове св. Елены: «Государь! – говорилось в этом письме, – я все приготовил к вашему возвращению. То, что было хорошего в вашем правлении, я отменил, гнетущее удержал и усилил. Всякий ожидает вас с открытыми объятиями, особенно ваш верноподданный Геркулес Консальви». В то же время появлялись и более остроумные полемические сочинения против кардинала, которые в рукописях циркулировали в римских кафе. Сильное противодействие встречал он и со стороны своих сотоварищей кардиналов. Так, Пакка сделался душой большой партии, получившей название зеланти (ревнителей), которые тайно и открыто обвиняли Консальви в том, что он заразился безбожным либерализмом, и к этой партии принадлежали кардиналы Кастильони (впоследствии папа Пий VII) и Делла-Генга (впоследствии папа Лев XII). Вследствие такого противодействия Консальви лишил кардиналов всякого участия в управлении государством, и этим обстоятельством еще более раздражил их. Они вступили на роковой путь, частью вызывая к жизни тайные реакционные общества, частью содействуя им, что все повело к большим бедствиям, так как эти общества делали религию орудием своей политики. Особенно отличалось в этом отношении политико-религиозное общество «миротворцев» или «святой союз», девизом которого было изречение Христа: «Блаженны миротворцы». Они клялись поддерживать общественный мир, хотя бы ценою жизни. Другое общество «санфедистов» (т. е. поборников святой веры), как назывались члены этого союза, сначала ставило себе задачей только защищать веру и папу, как против неверия, так и светских посягательств; но позже эти носители абсолютной теократии во имя христианства начали воздвигать кровавые гонения против либералов, невзирая на состояние, пол и возраст. Под влиянием санфедистов Пий VII позже издал буллу против карбонариев (получивших свое название оттого, что свои эмблемы они заимствовали от угольщиков). Где впервые возникло это тайное либеральное общество, во Франции или Германии, или же на итальянской почве, неизвестно. Сами карбонарии производили свое происхождение от мистерий древности, особенно от жрецов Изиды и Митры, в действительности же они едва ли были старше французской оккупации. Во время владычества французов, карбонарии, как национальные патриоты, стремились к низвержению французского ига, и их общество было очагом освободительных стремлений и национального патриотизма. Над склянкой с ядом и раскаленным железом они давали клятву денно и нощно помышлять об истреблении тиранов, и строго соблюдать тайны общества, иначе «бутылка с ядом будет для них напитком, и раскаленное железо будет жечь им тело». На своих пирушках они пили со словами: «смерть, или независимость»! и пели о «кровавой звезде», восходящей над их отечеством, которое опять восстанет «при пении петуха, когда орлы заспорят между собою».
Рядом с бедствием, причинявшимся церковному государству борьбой между санфедистами и карбонариями, была уже не так важна другая местная язва, бандитство. Война с французами многих угнала в горы, и когда она кончилась, то все такие бойцы, оказавшись вне закона, должны были искать себе убежища в ущельях гор и трущобах лесов. Возобновившаяся романтика набрасывала на бандитов привлекательный блеск, так что римские девицы с восторгом смотрели на мужчин, которые «могли жить в горах», и их отцы обыкновенно без всякого смущения вступали в сношение с разбойниками. Разумными мероприятиями Консальви удалось несколько ограничить это зло. Но совершенно искоренить его не удалось даже и до настоящего времени.