СССР расценил это решение как шаг к ядерному вооружению Западной Германии. В мае 1958 г. в Москве состоялось совещание стран-участниц ОВД, на котором была согласована тактика действий в германском вопросе. В июле 1958 г. ГДР выступила с предложением о заключении мирного договора с ФРГ, выдержанном в русле советской идеи об отказе обоих германских государств от обладания ядерным оружием. Западная сторона, расценив это предложение как проявление «слабости Москвы», никак не отреагировала на это предложение.
Тогда в конце ноября 1958 г. советское правительство направило правительствам США, Великобритании и Франции довольно жесткую ноту, в которой содержалось требование в течение шести месяцев, то есть до конца мая 1959 г., заключить мирный договор с ГДР и признать второе германское государство де-юре. В противном случае советское руководство грозилось подписать отдельный мирный договор с ГДР и переложить на ее правительство полную ответственность за обеспечение особого статуса всего Берлина и гарантий доступа западных держав в западную часть города.
В исторической литературе эта ноябрьская нота получила название «ультиматум Хрущева», который, как полагает ряд авторов (А. Филитов, Ф. Новик, М. Наринский), положил начало Второму Берлинскому кризису, продолжавшемуся вплоть до конца 1961 г.
По мнению других авторов (А. Богатуров, В. Аверков), напряженность вокруг Западного Берлина сохранялась все эти годы, поэтому применять термин «кризис» ко всему, почти трехлетнему, периоду этого противостояния нет оснований.
Жесткий ультимативный характер «ноябрьской ноты» был вскоре дезавуирован самим советским руководством, и в январе 1959 г. оно дало понять, что не настаивает на разрешении германского вопроса в первоначально обозначенные сроки. Это поведение советской стороны стало прекрасной иллюстрацией новой характерной черты советской дипломатии, которая сформировалась под прямым влиянием самого Н.С. Хрущева: сначала действовать «с позиции силы» и оказать психологическое давление на оппонента, а затем, в случае его отказа от советских предложений, предложить ему относительно мягкую формулу компромисса.
Исторический опыт наглядно показал, что такая тактика далеко не всегда была плодотворной, но она проводилась в жизнь самим Н.С. Хрущевым и его министрами иностранных дел. Сначала эту должность занимал тогдашний хрущевский фаворит Д.Т. Шепилов, пробывший на посту министра всего восемь месяцев, и ушедший в феврале 1957 г. с повышением на должность секретаря ЦК, с которой с треском вылетел уже в июне 1957 г. после разгрома «антипартийной группы В.М. Молотова, Г.М. Маленков, Л.М. Кагановича». Затем эту должность занял карьерный дипломат А.А. Громыко, который был министром иностранных дел СССР почти три десятка лет, до июня 1985 г., то есть до прихода к власти М.С. Горбачева. Надо заметить, что если В.М. Молотов, будучи министром иностранных дел, всегда жестко отстаивал свою особую позицию по всем внешнеполитическим вопросам, за что, собственно, и поплатился своим постом в июне 1956 г., то А.А. Громыко, не обладая в хрущевский период каким-либо политическим весом и влиянием, всегда шел в фарватере его внешнеполитического курса и не перечил этому сумасброду, который довольно слабо разбирался в большинстве внешнеполитических проблем.
В сентябре 1959 г. состоялся первый в истории двух сверхдержав официальный визит советской партийно-правительственной делегации во главе с Н.С. Хрущевым в США. Во время этого турне в ходе личной встречи с президентом Д. Эйзенхауэром советский лидер добился от американской стороны принципиального согласия на созыв в мае 1960 г. международной конференции в Париже по германскому вопросу. Однако Парижская конференция, едва начавшись, была сразу сорвана, поскольку Н.С. Хрущев в категорической форме потребовал от президента Д. Эйзенхауэра принести ему публичные извинения за то, что американские самолеты-разведчики постоянно нарушают воздушное пространство СССР. Но американский президент, которого поддержал его французский коллега президент Ш. де Голль, невзирая на прямые доказательства вины американской стороны, в том числе только что сбитый над Уралом советскими баллистическими ракетами самолет-шпион U-2, пилотируемый Ф. Пауэрсом, отказалась это сделать, и Н.С. Хрущев покинул Парижскую конференцию. По мнению ряда советологов (М. Татю), этот демарш советского руководителя произошел вопреки его личному желанию, а под сильным давлением членов советской делегации, в том числе министра иностранных дел А.А. Громыко и министра обороны маршала Р.Я. Малиновского.
В апреле 1961 г. Н.С. Хрущев выдвинул новый ультиматум по берлинскому вопросу, объявив, что СССР еще до конца года подпишет мирный договор с ГДР и передаст ей всю полноту власти над восточной частью Берлина. Вскоре он вновь смягчил свою прежнюю позицию и предложил новой администрации США, которую возглавил президент-демократ Джон Кеннеди, вернуться к обсуждению германского вопроса, и в июне 1961 г. в столице Австрии Вене состоялась новая встреча в верхах.