Но становление города – процесс непростой, периоды расцвета сменяются временами упадка, и Нижний Новгород в этом плане не исключение. Хан Мамай опасался усиления и самостоятельности Московского княжества и счел необходимым передать грамоту (ярлык) на владимирское княжение Михаилу Тверскому. Дмитрий Московский данному решению не подчинился. Мамай не стал вступать в открытый конфликт, однако напряженность в отношениях Орды с Москвой и ее союзниками нижегородцами возникла. Когда же Мамая и его ставленника Мухаммада Буляка изгнали из Сарая[4], князь московский и князь нижегородский пошли на полный разрыв с Мамаем. Конечно, хан не мог не среагировать, он отправил своих послов в Нижний Новгород, там им пришлось перезимовать, а потом, при попытке взять их под стражу, завязалась кровавая схватка. Послы погибли. Разгневанный Мамай отправил на Нижний Новгород конницу, а ярлык на владимирское княжение отдал-таки тверскому князю Михаилу, которого также поддержала Литва. Но Дмитрий Московский и Дмитрий Нижегородский начали против Мамая и Михаила борьбу, выдвинув свои полки на Тверь. Тверской князь признал поражение. Пока нижегородские военные силы находились вдали от родного города, на него напали ушкуйники (речные пираты), ограбили горожан и сожгли город (1375). Только-только оправившись от произошедшего, город начал восстанавливаться, но 5 августа 1377 года к Нижнему Новгороду подступила конница Мамая, и город вновь был сожжен. Менее чем через год, в мае 1378 года, Нижний снова подвергся нападению Мамая, и снова выгорел. Дмитрий Константинович тяжело пережил эти события и 5 июля 1383 года скончался.
Мамай советуется с князьями. Лицевой летописный свод. XVI век
После кончины князя Дмитрия правление должно было перейти к его брату Борису Константиновичу (Городецкому), но и здесь не обошлось без междоусобных разборок. Василий Дмитриевич, сын князя Дмитрия, тоже изъявил желание стать правителем Нижегородских земель. Он в марте 1388 года осадил Нижний Новгород, и Борис вынужден был оставить город племяннику, а сам довольствовался Городцом. Однако и это оказалось ненадолго. Москва становилась доминантной в русских землях, и в союзниках уже не нуждалась. В 1392 году в Орду приехал великий князь Владимирский и Московский Василий I c богатыми подарками и уговорил хана Тохтамыша передать Нижний ему. Случай являлся беспрецедентным, потому что ярлыки хотя раньше и выкупались, но только на те княжества, где не имелось наследников. А вот взять и убрать со своей дороги целую ветвь потенциальных правителей – такого в истории отношений между князьями еще не было. Нижний Новгород вернулся во владение к московским князьям. Приблизительно еще полвека будет продолжаться борьба нижегородских князей за восстановление своего суверенитета. Надо отдать должное, не без успеха – как минимум трижды им это удавалось, но в совокупности годы их самостоятельного правления составили десять-одиннадцать лет, не более. В силу постоянных распрей первая половина XV века выдалась нелегкой.
В это же время очередной хан, по имени Едигей, решил потрясти всех своим могуществом, и зимой 1408/1409 года начал масштабное нашествие на русские земли. Отдельный отряд ордынцев пришел и на Нижегородскую землю. И Городец, и Нижний Новгород были уничтожены. Нижний Новгород Едигей отдал одному из потомков нижегородских князей, и Москва смогла вернуть Нижний только в 20-е годы XV века. В 1445 году Орда окончательно распалась. Один из изгнанных правителей Улу-Мухаммед захватил Нижний Новгород и находился там почти целый год вместе с войском. Потом он откочевал дальше вниз по Волге.
После 1445 года исторических данных о Нижегородском регионе просто нет вплоть до 1460-х годов. Историки и археологи сходятся на мысли, что, по всей вероятности, там царило сплошное запустение. При Улу-Мухаммеде была последняя попытка восстановления самостоятельности Нижегородского княжества князьями Василием и Федором Юрьевичами Шуйскими – потомками Дмитрия Константиновича Нижегородского. После этого период суверенитета окончательно закончился.
С конца XV века Нижний Новгород приобрел большое значение в казанско-русских отношениях. После взятия Казани в 1487 году Иван III переселил в Нижний большое количество бояр из Новгорода Великого. Кроме того, издал указ, и с 1489 года въезд на территорию Московского государства из Казани осуществлялся только через Нижний Новгород. И со всех купцов таможня города брала пошлину. Естественно, что при таком положении дел Нижний Новгород быстро богател. И снова это было временное благополучие. Между Москвой и Казанью обстановка накалялась – в 1505 году удар обрушился на Нижний Новгород: войско ордынского хана сожгло городской посад и ограбило окрестные села. Нижегородская крепость в силу того что 17 лет не испытывала подобных набегов, была не подготовлена к обороне, но смогла выстоять благодаря местному воеводе. Однако урон враги нанесли немалый.