В то же время Абакумов арестовал группу советских генералов, героев войны, Героев Советского Союза, которые сидят на пенсии в свои еще молодые годы и от недовольства своим положением ведут между собой организационные переговоры о том, что хорошо бы Сталина заменить на Жукова. Ни о каком терроре никто из этих генералов и словом не обмолвился. Тем не менее, Абакумов организовал следствие, нашел доказательства, и суд приговорил этих генералов к расстрелу. 20 октября 1949 года Абакумов направил Сталину докладную записку об «использовании служебного положения в целях личного обогащения» маршалом Василием Соколовским. В записке рассказывалось, как Соколовский, который в тот момент был главнокомандующим группы советских оккупационных войск в Германии (ГСОВГ), и начальник тыла ГСОВГ генерал-полковник Шебунин организовали в районе 46-го километра Дмитровского шоссе под Москвой строительство индивидуальных дач «большой стоимости». Строительные средства и материалы были взяты со складов ГСОВГ. «Кроме того, — писал Абакумов, — значительное количество материалов было заготовлено в немецкой строительной конторе земли Бранденбург и доставлено в Москву на строительство дач. Туда же было направлено 400 военнослужащих и 200 военнопленных немцев, привезенных из Германии… В архитектурном оформлении дачи Соколовского используется военнопленный немец, бывший видный берлинский архитектор Карл Браун».
Далее говорилось, что Соколовский незаконно увеличил свой участок с 2,8 га до 3,8 га, построил двухэтажный дом площадью 306 кв. м и двухэтажный дом с гаражом площадью 135 кв. м, ряд надворных построек, заложил фруктовый сад на целом гектаре, установил металлическую изгородь, вывезенную из Германии, разместил в доме немецкие мебель, люстры, рояли, и оставил в личном пользовании при переводе из Германии в Москву десять автомобилей.
«Следует отметить, — сообщал Абакумов вождю, — что на строительстве дач сложились своеобразные отношения между «застройщиками» и военнопленными. Эти отношения роняют достоинство советских генералов. Так, Шебунин лично договаривается с немцами о выполнении работ из стройматериалов самих пленных. Немцы воруют материалы у конторы индивидуального строительства N331 Главвоенстроя и переносят их на дачи Соколовского, Шебунина и других генералов, где получают за это деньги наличными».
Абакумов враждовал и с другими силовиками. Например, между В.С.Абакумовым и первым заместителем министра МВД И.А.Серовым были враждебные отношения, не составлявшие тайны для окружающих. Они без устали катили бочки друг на друга. Серов Иван Александрович, будущий глава КГБ, был во время войны представителем НКВД на фронте и в грабежах не отставал от Абакумова. Серов всегда не любил Абакумова. Об этом свидетельствует его письмо Сталину от 8 сентября 1946 г.
Уже 9 апреля 1947 года только что назначенный первым заместителем министра внутренних дел Серов со своим шефом, главой МВД СССР Кругловым направил записку Берия и Абакумову, где говорилось о безобразном поведении и грубости работников Главного управления охраны МГБ, одетых в милицейскую форму и расставленных на наружных постах на центральных, прилегающих к Кремлю улицах и правительственных трассах. оскорбился. Уже 10 апреля Абакумов направил Берии письмо: «Тов. Серов, — писал Абакумов, — известен своими провокационными выходками и склоками, которые он иногда допускает, поэтому пора положить конец этому и предупредить его».
Затем Абакумов взялся серьезно проверять родословную Серова. 28 января 1948 года он сообщил Сталину: «Бежанов дал показания о том, что Серов присваивал ценности и переправлял их в СССР». Бежанов рассказал о захваченных людьми Серова в Рейхсбанке при штурме Берлина мешках с деньгами. Германские рейхсмарки были пущены Серовым якобы на «оперативные расходы». В этом же письме Абакумов просил санкции на арест бывших начальников оперсекторов Саксонии и Берлина генералов С. А. Клепова и А. М. Сиднева и, помимо них, М. А. Хренкова — адъютанта Серова с ноября 1942 по август 1947 года. Сталин санкцию дал. Когда Серов по просьбе Ульбрихта, посадил в лагерь трех судей из контролируемых американцами секторов Берлина, то Абакумов рассказал об этом маршалу Жукову.
С другой стороны, Серов писал в своем письме Сталину о том, что «в тяжелые дни войны Абакумов выбирал девушек легкого поведения, водил их в гостиницу Москва».