По сведениям Емельянова, Рюмин до своего назначения в МГБ работал счетоводом в архангельской потребкооперации. По словам Рясного (а тут врать ему нет смысла), Рюмин, поступив на службу в МГБ в архангельской области, арестовал в Архангельске какого-то врача, еврея, и тот дал показания, что в Москве действует подпольная организация врачей. Более того, будто бы Рюмин был выдвинут для работы в центральном аппарате МГБ самим Абакумовым. Ну Рюмин и Рюмин, много такие рюминых подвизалось в «органах» в те годы. Однако, как мы помним, наш Рюмин обессмертил своё имя тем, что написал телегу на самого Абакумова.
После ареста Абакумова, в июле 1951 г. Рюмин был назначен и.о. руководителя следственного отдела. Видимо, Рюмин понял, что чем больше пишешь, тем быстрее карьерный рост. Поэтому в октябре-ноябре 1951 г. Рюмин написал очередное второе письмо, где обвинил своих коллег в плохой работе. По настоянию Рюмина был арестован заместитель министра госбезопасности Питовранов. За всё это Рюмина в МГБ дружно ненавидели, считали бездарностью и выскочкой.
В конце концов, полковник Рюмин был назначен заместителем министра государственной безопасности СССР. Это произошло 20 октября 1951 г. (по другим сведениям это произошло в ноябре 1951 г., а по третьим — 12 декабря 1951 г. Наконец, существует и четвертая версия — назначение произошло 22 февраля 1952 г.). По свидетельству Столярова, Рюмин стал заместителем министра ГБ в ноябре 1951 г. когда Сталина был на юге. Точная дата не так и важна, поскольку все это время Сталин был на юге и не мог курировать этот вопрос. Даже 22 февраля Сталин мог не участвовать в решении вопроса о Рюмине, так как только что вернулся в Москву из Сочи (Сталин вернулся в свой кремлевский кабинет лишь 12 февраля 1952 года). Более того, вскоре Рюмина принял Сталин.
Возникает вопрос, а кто же выдвинул Рюмина на должность зам. министра, если Сталин был в отпуске на юге? Скорее всего, это был наш крот. Напомню, что 22 февраля 1952 года расследование дела Абакумова и его сотрудников было возложено на органы безопасности, и он был переведен из тюрьмы «Матросская тишина» в Лефортово. Всё это время М.Д. Рюмин добивался передачи ему ведения следствия по делу Абакумова. Наконец, когда Рюмин был возведен в ранг зам. министра, он при поддержке зам. министра Гоглидзе Рюмин добился разрешения взять следствие над Абакумовым в свои руки. Под контролем Рюмина оказалась следственная часть по особо важным делам. В апреле 1952 г. Лихачев вдруг «вспомнил», что Этингер в присутствии Абакумова и его сознался в намерении сократить жизнь Щербакову. Рюмин навалился на еле живого Абакумова, чтобы тот подтвердил эти слова, но Абакумов все отрицал. 22 июля 1952 г. устроили очную ставку Лихачева и Абакумова, но ничего не добились. Но обратите внимание, какой длительный период времени прошел между признанием Лихачева и очной ставкой.
Когда Рюмина судили, уже после убийства Берия, Рюмин на суде обвинял Абакумова в проеврейских симпатиях. Однако Райхман сообщил Судоплатову, что Абакумов отрицал обвинения, связывающие его с сионистским заговором, несмотря на то, что Рюмин зверски его пытал. Абакумов не был ни юдофилом, как думает Мухин и показал Рюмин, ни юдофобом, он был профессионалом, хотя и самоучкой.
Весной 1952 г. министр госбезопасности Игнатьев и Рюмин рапортовали Сталину про свои ударные достижения: 1) возобновлено следствие по делу членов ЕАК, 2) закончен суд по делу молодежной организации евреев-националистов, 3) получены новые факты относительно врачей-вредителей. Однако дело продвигалось плохо. Несмотря на аресты, доказать факт умерщвления Жданова не удавалось. Пытаясь выйти из следственного тупика, Рюмин собирался сделать сотрудника лаборатории ядов Майрановского одной из центральных фигур заговора врачей, ведь он изготовлял яды. Однако, видимо, Игнатьев решил, что это опасно — многое, что должно быть вечной тайной, вылезет наружу. В итоге дело Майрановского отделили от других.
В ноябре 1952 года (скорее всего, это случилось 13 числа), Сталин, который вновь стал вникать в дела государства, будто бы приказал Игнатьеву «убрать этого шибздика» (Рюмина — С.М.) из МГБ. Видимо, Сталин резко критиковал Рюмина во время совещания по делу врачей в начале ноября 1952 г. Согласно другой версии, гуляющей в Интернете, 13 ноября 1952 г. Рюмин будто бы был обвинен в подделке документов, посылаемых в ЦК, в нелегальном, использовании пыток, ведении дела врачей по собственному разумению (фальсификации) и обман правительства. 12 ноября Рюмин послал Сталину доклад, что профессор Василенко бывший троцкист и все такое. А 13 или 14 ноября Рюмин был уволен из МГБ решением ЦК по несоответствию и переведен инспектором в Министерство госконтроля. Рюмин написал жалостливое письмо и 13 ноября отправил его Сталину, в нем он все свалил на Игнатьева. Рюмин писал — «…я признаю только то, что в начале следствия не применял крайних мер, но эту ошибку после соответствующего указания, я исправил». Возможно, письмо Рюмина и постановление подделали, но это маловероятно.