Осенью 1923 года А. Ганин переезжает в Москву. Он полон творческих замыслов. «Я приехал сюда, в Москву, как в центр научной и литературной работы, — писал он в своих показаниях после ареста чекистами, — так как начаты мною работы, ряд художественно-драматических хроник: «Освобождение рабов», «Иосиф» и несколько других из истории эллинского Рима и России. Кроме того, мною начат большой роман, который бы охватывал жизнь России в целом за последние двадцать лет, действие в котором разыгрывается, в отличие от всех существующих романов, не на любовной интриге, а на социально-экономических условиях. Все вышеуказанные работы требовали от меня знаний истории последних лет в целом. Но приезд мой для меня оказался роковым. Все мои работы, особенно последняя, рассчитанная приблизительно на десять лет, требовали еще некоторой, хотя бы минимальной обеспеченности, которой у меня абсолютно не было»
Алексей Ганин жил на случайные заработки, его произведения не издавались. Свое отчаяние и бессилие он пытался утопить в пьянстве. «Я оказался в крайне отчаянном положении, — говорил он на допросах, — без работы, без комнаты, без денег. И так продолжалось с 1923 года, с сентября месяца, до дня ареста. Питался большей частью в кафе Союза поэтов «Домино». Позднее — «Альказар» и «Стойло Пегаса». А ночевал — где настигнет ночь».
Не имея собственного жилья, А. Ганину приходилось ютиться у друзей, которые сами не были благоустроены. «Я окончательно остался на мели, во власти всяких случайностей, — признавался он. — Вечера до глубокой ночи проводил в кафе, в пивных, а ночевать ходил к моему бывшему другу поэту Есенину в дом «Правды» по Брюсовскому переулку, где познакомился с его тогдашней женой Галей, ни фамилии, ни отчества которой я не знаю и до сих пор».
Алексей на многих производил неприятное впечатление опустившегося и обозленного на весь мир неудачника. Но не за это Галина невзлюбила его. «На Сергея Александровича, — вспоминала она, — он действовал не разглагольствованиями, а своим присутствием. При нем Есенин делался очень раздраженным и болезненно подозрительным, каждую минуту назревал скандал. При этом Ганин нагло требовал вина и вина, и при этом требовал, чтобы Сергей Александрович тоже пил с ним. Поэтому при Ганине было почти невозможно удержать Сергея Александровича от пьянства».
Его стихи не печатали в газетах и журналах по разным причинам. На это у него была одна и та же реакция. Он доказывал, что везде сидят иноверцы, которые его, настоящего русского поэта, притесняют и ненавидят.
Антисемитские суждения Ганина часто слышали в пьяных сборищах, а он любил выпить за чужой счет. Затем пристрастился к кокаину. В кругу близких стал высказывать предположения, что скоро большевистская власть будет свергнута, ей на смену придет народное правительство. В одной из таких захмелевших бесед Ганин рассказал Есенину, что уже сформировано новое правительство и если Есенин захочет, то в этом правительстве ему будет предложен пост министра народного просвещения. Ганин не только предложил, но и записал фамилию Есенина в этот список будущего кабинета министров. Это вывело Есенина из себя, он разозлился, послал Ганина к черту и потребовал, что тот немедленно вычеркнул из списка его фамилию и никогда об этом не вел ни с кем в будущем разговоры. Ганин не стал возражать, вместо Есенина в список министром народного образования вписал поэта Приблудного.
Разговоры о засилии евреев, к большому неудовольствию Галины Бениславской и Анны Назаровой, неоднократно возникали в их квартире во время застольных бесед Н. Клюева, А. Ганина, И. Приблудного и С. Есенина.
Однажды Иван Приблудный на квартире Бениславской зачитал друзьям отрывок «Гонта в Умани» из поэмы «Гайдамаки» Т. Г. Шевченко. Он обратил внимание на эпизод, когда Гонта убил своих детей только за то, что их мать-католичка помогала иезуитам обратить их в католическую веру.
Возбужденный Есенин не стал вникать в достоверность рассказанного случая из жизни гайдамаков и сказал сидевшей рядом Бениславской:
— Слушайте, слушайте. Вот это самое. И я, если на то пойдет, сам отдам своих детей. Они тоже от еврейки. Плакать буду, но отдам, не пожалею.
Наутро, протрезвев, Есенин, узнав о своем высказывании, недоумевал:
— Ведь ничего во мне нет против них. А когда я пьяный, мне кажется бог знает что.
Виновников, провоцировавших его на такие выступления, не искал. Он знал, что они сидят с ним рядом, выжидая нужный случай, чтобы еще больше подлить масла в огонь.
Клюев завидовал растущей поэтической славе Есенина. Он был старше, хитрее и дальновиднее, мог сыграть на самых сокровенных чувствах, пробуждая в Есенине недовольство и ненависть. Часто затрагивалась в беседах тема о засилии «жидов» в общественной жизни России, о вытеснении ими русских поэтов и писателей. Н. Клюев нашел хорошую поддержку в лице А. Ганина, также смотрящего обиженными глазами на окружающий его мир. Перед таким тандемом Есенину было трудно устоять.