• 1-й отдел — агентурно-оперативная работа в центральном аппарате Наркомата обороны (начальник полковник, затем генерал-майор Горгонов Иван Иванович);
• 2-й отдел — работа среди военнопленных, проверка военнослужащих Красной Армии, бывших в плену (начальник подполковник Карташев Сергей Николаевич);
• 3-й отдел — борьба с агентурой, забрасываемой в тыл Красной Армии (начальник полковник Утехин Георгий Валентинович);
• 4-й отдел — работа на стороне противника для выявления агентов, забрасываемых в части Красной Армии (начальник полковник Тимофеев Петр Петрович);
• 5-й отдел — руководство работой органов Смерш в военных округах (начальник полковник Зеничев Дмитрий Семенович);
• 6-й отдел — следственный (начальник подполковник Леонов Александр Георгиевич);
• 7-й отдел — оперативный учет и статистика, проверка военной номенклатуры ЦК ВКП(б), НКО, НКВМФ, шифрработников, допуск к совершенно секретной и секретной работе, проверка работников, командируемых за границу (начальник полковник Сидоров А.Е. — был назначен позднее);
• 8-й отдел — оперативной техники (начальник подполковник Шариков Михаил Петрович);
• 9-й отдел — обыски, аресты, наружное наблюдение (начальник подполковник Кочетков Александр Евстафьевич);
• 10-й отдел «С» — специальных заданий (начальник майор Збраилов Александр Михайлович);
• 11-й отдел — шифровальный (начальник полковник Чертов Иван Александрович);
• Политотдел — начальник полковник Сиденьков Никифор Матвеевич;
• Отдел кадров — начальник полковник Врадий Иван Иванович;
• Административно-финансово-хозяйственный отдел — начальник подполковник Половнев Сергей Андреевич;
• Секретариат — начальник полковник Чернов Иван Александрович.
Борьба с вражеской агентурой и диверсантами противника была крайне опасным занятием — в среднем оперативник Смерш служил 3 месяца, после чего выбывал по смерти или ранению. Капитан госбезопасности в отставке, сотрудница Смерш Анна Кузьминична Зиберова в своих воспоминаниях пишет: «Недавно мне делали операцию. Очнувшись от наркоза, я увидела рядом в палате взволнованные лица дочери и старшего племянника. “Бабушка, — сказал он, — вы во сне так дрались с кем-то! И все время говорили: “Если бы знал, убил бы!” Я поняла, в чем дело. Однажды мы брали полковника, подозреваемого в шпионаже. Я долго стучала в дверь (электричества не было) и вдруг провалилась в темноту. Меня схватили за шкирку, поволокли и бросили в темное помещение. Оказалось, это был туалет. Полковника задержали на выходе с черного хода. “Где наша девушка?” — спросили его. — “Если бы знал, что ваша, убил бы!” Нас инструктировали — никогда не смотреть в лицо тем, кого задерживаем. К тому же было очень темно. Но ко мне часто приходит по ночам страшная рожа с криками: “Если б знал, убил бы!”»
Но, несмотря на все трудности, за три года существования Смерш в рядах контрразведчиков не было ни одного случая предательства, перехода на сторону врага. На счету Смерш по самым скромным подсчетам более 30 тыс. разоблаченных немецких агентов, почти 4 тыс. организаторов и исполнителей диверсий, более 6 тыс. террористов. Свыше 3 тыс. наших агентов было заброшено в тыл врага. За период с 19 апреля 1943 года до окончания войны органы ГУКР Смерш провели 183 радиоигры. Подобного размаха работы не знала ни одна спецслужба в мире.
Находясь во главе Ставки Верховного Главнокомандования, Сталин потребовал беспрецедентных мер по сохранению в тайне планов разрабатываемых операций. Контроль за реализацией этих мер был также возложен на органы контрразведки Смерш. С помощью секретных агентов контрразведчики проверяли надёжность защиты секретов в местах, где осуществлялась разработка планов боевых операций, выявляли возможные каналы их утечки к противнику. На основе информации, поступающей от осведомителей и агентов из числа должностных лиц штабов, постоянно отслеживался не только круг лиц, допущенных к особо охраняемым сведениям, но и то, к каким именно документам они получали доступ и в каком объёме с ними знакомились. И во главе всего этого прекрасно отлаженного контрразведывательного механизма всю войну находился генерал-полковник Абакумов.
Начальник контрразведывательного факультета Высшей школы КГБ СССР генерал-майор Борис Васильевич Гераскин, который в 1944 году был молодым сотрудником центрального аппарата Смерш, вспоминает: «В большом, обшитом деревом кабинете возле письменного стола стоял Абакумов. Запомнилось его крепкое телосложение, правильные черты лица, высокий лоб и тёмные волосы, гладко зачёсанные назад. На нем ладно смотрелась серая гимнастёрка и синие бриджи с лампасами, заправленные в сапоги. Пальцы обеих рук он держал за широким военным ремнём…»