Смеляков был арестован 22 декабря 1934 г. Следователь сказал ему на допросе: «Что же ты надеялся, мы оставим тебя на свободе? Позабудем, какие слова о тебе и твоём друге Павле Васильеве сказаны в статье Горького? Не выйдет!». И — «за участие в контрреволюционной группе» поэт был приговорён к трём годам исправительно-трудовых лагерей.
Первая «отсидка» Смелякова оказалась не очень долгой. Он ударно работал в тюрьме бригадиром, был выпущен досрочно в начале 1937 г. и переведён воспитанником трудовой коммуны № 2 НКВД, располагавшейся на территории подмосковного Николо-Угрешского монастыря, закрытого безбожной властью в 1925 г., а основанного в 1380 г. Дмитрием Донским в честь победы над Мамаем. На том месте Святому Благоверному князю, ведшему рать к Куликову полю, явилась икона Николы Чудотворца, и князь сказал: «Сия вся угреша сердце мое» («Это всё согрело сердце моё»).
Опальный Смеляков стал в Угреше ответственным секретарём новой газеты «Дзержинец».
В 1930-х гг. у Смелякова случился роман с Маргаритой Алигер, посещавшей литобъединение вместе с ним, Сергеем Михалковым, Львом Ошаниным. Интересна история с кольцом, подаренным поэтессе Смеляковым (массивное серебряное — череп с двумя скрещёнными костями). Ярослав сказал Маргарите, что пока она кольцо будет носить, с ним, Ярославом, ничего плохого не произойдёт. По словам Лидии Либединской, которой Алигер рассказала эту историю уже после смерти Смелякова, каждый раз, когда кольцо снималось с руки и терялось, с Ярославом приключалась беда. В пересказе Е. Егоровой финал этой мистически-завораживающей истории звучит так: «Перед последним арестом Смелякова в 1951 г. кольцо надломилось и потом 20 лет пролежало в столе среди бумаг, но в день похорон поэта Маргарита нашла его целым, хотя сама в ремонт не сдавала…»
Перед войной молодой поэт написал цикл «Крымские стихи», публиковался в «Молодой гвардии», «Литгазете», «Красной нови»… В ноябре 1939 г. был призван в армию Ухтомским райвоенкоматом, уцелел в финской «незнаменитой» войне, вернулся в Москву весной 1940 г. и был принят на работу в аппарат Союза писателей.
В 1941 г. Смелякова из резерва призвали в армию, зачислили рядовым во Вторую легкострелковую бригаду. Служил на Северном и Карельском фронтах. Ходили слухи о его гибели. Евгений Долматовский написал трагическое стихотворение, посвящённое его памяти. Лишь Алигер верила, что Смеляков жив: вернувшись из эвакуации зимой 1942 г., она неожиданно нашла дома кольцо, подаренное Смеляковым, которое куда-то задевалось в её квартире перед отъездом в октябре 1941 г.
А Смеляков — очень быстро попал со своей частью в окружение и финский плен, каторжно работал на хозяина, обращавшегося с узниками крайне жестоко.
«Я вовсе не был у рейхстага и по Берлину не ходил», — сокрушённо писал он. А смог ещё и так: «И мёртвых нетленные очи, победные очи солдат, как звёзды сквозь облако ночи на нас, не мерцая, глядят…»
Этих мощных стихов Смелякова уже никто не отменит («Судья», 1942):