К концу Войны за независимость Индии стоявшее за Палмерстоном большинство держалось не так прочно, как могло показаться, а сам он уже не был для них той связующей силой, что раньше. «Связка прутьев», как называли его партию, выскальзывала из его сжатой руки: вместе они были несокрушимы, по отдельности их можно было легко переломать. От этого периода остался письменный портрет Палмерстона: «Он выглядел как старик, как человек, за пятьдесят лет непрерывной борьбы израсходовавший почти все свои силы, но способный держаться до определенного момента на одной только силе воли, привычно заменяющей ему все остальное. Он выглядел как человек, решивший править до самого конца. На его лице не было ни тени веселья». На званом ужине Королевского литературного фонда Тургенев заметил, что у него «деревянное, жесткое и бесчувственное» лицо, — этим мнением он поделился с Виктором Гюго. Однако Палмерстон имел отличное чувство юмора. Например, о бразильском правительстве он говорил, что оно напоминает «торговку рыбой из Биллингсгейта, схваченную полицейским за какую-то оплошность. Она ругается, размахивает кулаками, зовет на помощь толпу и клянется, что скорее умрет на месте, чем пойдет в тюрьму. Но, почувствовав на плече твердую хватку полицейского и поняв, что он настроен серьезно, она идет за ним кротко, как ягненок, хотя на углу каждой улицы снова принимается сквернословить». Он по-прежнему обладал талантом превращать внешнюю политику в шоу Панча и Джуди, в котором сам часто играл роль драчливого Панча.
Встречный удар пришел с неожиданной стороны. В январе 1858 года итальянский националист Феличе Орсини разработал план убийства Наполеона III. Ему удалось (в основном благодаря невнимательности полиции) собрать оружие и людей. Сам Орсини отправился в Англию, где убедил сочувствующего оружейника изготовить 6 самодельных бомб по его проекту. Когда заговор открылся, французы впали в один из свойственных им припадков истерии, направленной в основном против вероломных англичан. Палмерстон, опасаясь обвинений в том, что его страна укрывает революционеров, и желая сохранить лицо перед императором, выдвинул в парламенте Билль о заговорах. Он потерпел поражение во втором чтении, и Пэм пал. Журналист Уильям Уайт отмечал: «Великий министр, который еще вчера был на гребне популярности, опустился так низко, что даже среди его бывших друзей вряд ли найдется человек, который скажет: “Боже, спаси его”. Глядя в будущее, люди не видят в нем Палмерстона». После изобретения калейдоскопа в 1817 году политическую жизнь страны часто сравнивали с этой игрушкой.
Поражение Палмерстона стало огромным потрясением как для оппозиции, так и для правительства. Дизраэли и Дерби, известные в просторечии как Еврей и Жокей, смирились с непредвиденным поворотом и не стали отказываться от власти. Дизраэли стал канцлером казначейства в новом консервативном кабинете. Первые шаги нового правительства были не слишком уверенными. Дизраэли выдвинул в парламенте собственный билль об Индии, в числе прочего предложив создать Совет по делам Индии, часть которого будут избирать домовладельцы крупных английских городов. В ответ парламент разразился хохотом. Свидетель этого события Уильям Фрейзер писал: «Читая Hansard, вряд ли кто-нибудь сможет по-настоящему представить себе, что тогда произошло. Поднялся невероятный шум: аплодисменты, стоны, смех. Мы посчитали себя вправе использовать самые нечленораздельные средства, чтобы наиболее полно выразить, насколько бесполезным нам представляется это предложение». Иными словами, громкие крики и грубые звуки во время заседаний тогда были в порядке вещей. Дерби стал премьер-министром, но по-прежнему оставался лидером меньшинства.
Летом 1858 года на первый план снова вышел вопрос санитарного состояния столицы. То было лето «Великого зловония», когда бурный поток фекалий и других загрязнений животного происхождения окутал миазмами Темзу и весь город. Сточные воды из всех жилых домов направлялись в реку, где скапливались и застаивались. Эту же воду, имевшую, по словам очевидцев, «коричневатый цвет», использовали для питья и стирки одежды. От запаха невозможно было укрыться. В коридорах палаты общин видели Дизраэли, согнувшегося пополам и прижимающего к лицу платок. Виктория и Альберт собирались отправиться на прогулку по реке, но зловоние заставило их повернуть назад. Все запахи в то время считали болезнетворными, и именно эти тлетворные испарения обвиняли в недавних вспышках холеры в Лондоне. По вредоносности они соперничали с вездесущим лошадиным навозом, запах которого долгое время считался характерным запахом города.