В 1404 г. смоленский князь Юрий уехал в Москву и взял с собой эту икону, позже ее поставили в Благовещенском соборе Московского Кремля. С отбытием Смоленской иконы на Смоленской земле участились беды: пожары, неурожаи, болезни, воровство, нападения недругов. В 1456 г. смоленский епископ Мисаил и представители смолян обратились к великому московскому князю Василию Темному с просьбой вернуть в Смоленск чудотворную Смоленскую икону Божией Матери. По решению князя московский митрополит Иона (канонизирован церковью) взял икону из киота и передал смоленской делегации для ее возвращения в Смоленск; тогда же передали смолянам и другие иконы, вывезенные в Москву из Смоленска. Во время осады Смоленска войсками польского короля Сигизмунда Смоленскую икону вывезли (1609) из города и привезли в Москву, а после занятия столицы поляками – переправили в Ярославль. Когда польских захватчиков выдворили из России и навели в ней порядок, царь Алексей Михайлович Романов распорядился вернуть Смоленскую икону в Смоленск.
В Смоленске с начала XVII в. еще был почитаемый список с исторической чудотворной иконы Божией Матери «Смоленская». Этот список подарил Смоленску в 1602 г. царский шурин (муж сестры царя) боярин Борис Федорович Годунов, список пребывал в Надвратной церкви, его со временем стали почитать чудотворным.
В период Отечественной войны 1812 г. историческую чудотворную Смоленскую икону Божией Матери перевезли в Москву, а потом – Ярославль. После изгнания наполеоновских войск из России историческая чудотворная икона вернулась в Смоленск. В 1812 г. список с чудотворной иконы, отступая из Смоленска, вынесли из города русские солдаты и офицеры. С тех пор эта икона до конца войны 1812 г. неотлучно (около трех месяцев) находилась в войсках 3-й гренадерской дивизии А.П. Ермолова. Перед Бородинской битвой именно перед этой иконой молились главнокомандующий М.И. Кутузов и вся русская армия. Эту икону для укрепления духа воинов носили по всему русскому военному лагерю и служили молебны. Позже, когда опасность миновала, по распоряжению М.И. Кутузова икону (список) вернули в Смоленск.
Во время Великой Отечественной войны 1941–1945 гг., когда Смоленск был оккупирован гитлеровцами, историческая Смоленская икона Божией Матери бесследно пропала, но остался ее древний чудотворный список из Надвратной церкви, пребывающий ныне в смоленском Успенском соборе.