Штаб пограничных войск;
Политическое управление;
Разведывательное управление.
Главку подчинялись пограничные округа:
Балтийский пограничный округ (Рига);
Дальневосточный пограничный округ (Хабаровск);
Забайкальский пограничный округ (Чита);
Закавказский пограничный округ (Тбилиси);
Западный пограничный округ (Киев);
Камчатский пограничный округ (Петропавловск-Камчатский);
Северо-Западный пограничный округ (Ленинград);
Среднеазиатский пограничный округ (Ашхабад);
Тихоокеанский пограничный округ (Владивосток);
Южный пограничный округ (Алма-Ата);
Отдельно следует выделить образовательные учреждения Главного управления пограничных войск КГБ. В систему подготовки офицерских кадров пограничных войск входили:
Алма-Атинское Высшее пограничное командное училище КГБ;
Московское Высшее пограничное командное Краснознаменное училище КГБ;
Школа по подготовке комендантов загранпредставительств СССР.
По утверждению последнего Председателя КГБ Вадима Бакатина в конце восьмидесятых годов прошлого века, «на долю этого главка приходилось около половины численности и бюджета КГБ».