Война уже шла к концу, и в начале августа радист перестал приходить. «Волга» замолчала. Из разговоров охранников Семен узнавал новости, в том числе и о наступлении Красной Армии, которая все ближе подходила к границам Болгарии. В ночь на 9 сентября 1944 года, когда в Софии началось восстание, охранники сбежали, да так поспешно, что не только не взяли арестованного с собой, но даже не заперли входную дверь, и Семен Побережник естественным образом очутился на свободе. На всякий случай он на некоторое время перешел на нелегальное положение — вдруг контрразведка вспомнит о нем и решит ликвидировать! А когда советские войска вошли в Болгарию, он, через команование воинской части, сообщил о себе «Каме». Ему ответили: «Ждите, за вами приедут». Вскоре его посадили на торпедный катер, присланный из Севастополя.
Побережнику было известно, что вернувшимся с задания нелегалам предоставлялось санаторное лечение и отдых. Этого он и ждал и, вполне возможно, получил бы, если бы добрался до Москвы. Но в Севастополе он был арестован местным отделением СМЕРШ. Впоследствии выяснилось, что оно получило «информацию» о работе Побережника на немцев от сообщников Минкова. Теперь нужно было выбить у арестованного признание, и дело сделано. На допросах следователи приводили «неотразимый» аргумент в пользу своей версии: «Почему тебя не расстреляли?» Другие доказательства тем смершевцам были не нужны, и, наверное, поэтому они наотрез отказались запрашивать Москву, несмотря на все просьбы Побережника.
Больше года просидел вернувшийся к своим разведчик в одиночной камере. Наконец, осенью 1945 года последовал приговор: 10 лет лагерей и 2 года спецпоселения. Срок он отсидел от звонка до звонка. Как раньше мотался по странам, теперь «путешествовал» по островам архипелага ГУЛАГ: строил дороги в районе Братска, прокладывал БАМ в Тайшете, возводил нефтеперегонный завод под Омском. 2 года ссылки проработал на шахте в Караганде. Но и тут выжил Семен Побережник, благодаря многолетней закалке. В ссылке он женился вторично, о болгарском браке предпочитая не вспоминать. После Тайшета и «комсомольских» строек воспоминания о загранице казались прекрасным, но полузабытым сном.
В 1957 году Побережнику разрешили вернуться на малую родину — в село Клишковицы. Он приехал — бывший зэк, с женой и грудным ребёнком. После тридцатилетней разлуки родной дом было не узнать. Мать и младший брат не пустили его на порог, пришлось снимать угол у чужих людей. С работой тоже не заладилось. Семён Яковлевич явился к председателю колхоза, сказал, что он — первоклассный шофёр (профессия в деревне дефицитная). Председатель глянул на измождённого мужика: на лице читался немалый лагерный срок. «Завод ещё ту машину не собрал, на которой ты будешь ездить«, — ответил он и отправил Побережника в садоводческую бригаду подсобником. Нет, совсем не такие перспективы жизни на родине рисовал ему в солнечной Валенсии Хаджи-Умар Мамсуров.
Рабочих рук в колхозе не хватало, и Семен работал от зари до зари. Постепенно односельчане узнавали его, и отношение стало меняться. Но не таков был Побережник, чтобы не попытаться добиться правды. Приятель, которому он кое-что рассказал о себе, посоветовал ему попытаться найти того военного советника, «Пабло Фрица», которого Семен возил в Испании и которому спас жизнь. Он написал письмо в газету «Правда», и… получил ответ!
«Правдисты» нашли «Пабло Фрица» — им оказался генерал армии Павел Иванович Батов, дважды Герой Советского Союза. Семену сообщили его домашний адрес в Риге. В тот же вечер Побережник написал ему письмо. Коротко напомнил о себе, в двух словах изложил свою историю после Испании (разведработа за границей, плен, возвращение в Союз, репрессии, жизнь после освобождения), попросил, если не затруднит, ответить. С арестантской аккуратностью заклеил конверт и утром опустил в почтовый ящик.
Но прошла неделя, другая — нет ответа. На всякий случай Семен решил написать еще раз — совсем короткое письмо. Написал. Отправил. И тут пришел ответ, вместе с почтовым переводом. Командующий Прибалтийским военным округом генерал армии Батов извинялся за задержку с ответом (выезжал в войска), приглашал в гости и выслал средства на дорогу. Вот что вспоминает о встрече в Риге Побережник: «Не успел я снять полушубок и вытереть с мокрых валенок грязь, как в дверях появился в полной генеральской форме военный. С трудом узнал в нём испанского Пабло. Прямо в передней мы бросились в объятия друг другу. Троекратно расцеловались. И тут к горлу у меня что-то подступило, сдавило как клещами, — ни откашляться, ни проглотить. По моему лицу потекли слёзы. «Ну что ты, Семён! Успокойся, друг, не нужно! — говорит Батов, а я никак не могу взять себя в руки. Внутри словно что-то порвалось«.