Из Белоруссии был отозван в Москву, где возглавил Политуправление РККА. Одновременно редактировал газету «Красная звезда». С июня 1930 г. первый заместитель наркома по военным и морским делам, заместитель председателя Реввоенсовета. Первый заместитель наркома обороны СССР.
В марте 1937 года снят с занимаемых постов и назначен уполномоченным Наркомата обороны при Совнаркоме РСФСР по вопросам оборонной работы, в мае – членом Военного совета Среднеазиатского военного округа.
31 мая 1937 года в ожидании неизбежного ареста покончил жизнь самоубийством.
По некоторым сведениям, пытался защищать белорусские кадры и интеллигенцию от репрессий. Но именно при нем в апреле 1929 года был смещен популярный в народе нарком земледелия Змитрок Прищепов. Он и 29 других «правых оппортунистов» были исключены из партии.
В Белоруссии Константин Вениаминович проводил коллективизацию драконовскими методами. Тех, кто не желал вступать в колхозы, лишали земли, арестовывали, штрафовали, ссылали в Сибирь. Погоня за благополучными показателями для бодрых рапортов в Москву была жуткая. Республика представлялась посланцам центра карьеристской площадкой.
При К. В. Гее ГПУ сфальсифицировало дело о контрреволюционной организации «Союз освобождения Белоруссии», по которому были репрессированы видные государственные деятели, ученые и писатели БССР.
За время руководства Белоруссией, выслуживаясь перед приславшей его Москвой, выжимал последние соки из республики. В 1933 году – на следующий год после приезда в Минск, доложил о перевыполнении плана сдачи государству зерна в два раза. Какой ценой это было достигнуто? Хлеб в колхозах забирался подчистую. Председатели, которые заботились о развитии своих хозяйств, объявлялись саботажниками и подвергались репрессиям.
Арестован в 1938 году по обвинению в руководстве «троцкистско-террористической организацией» в Белоруссии, враждебную деятельность которой изобличили органы внутренних дел. Кроме Гикало (ему вменялось также руководство «организацией правых») в «головку» подпольной «троцкистско-террористической организации» входили заведующие отделами парторганов и культпропотделом ЦК КП(б)Б Р. М. Рубинштейн и Л. А. Готфрид.
Высокопоставленная троица действовала с 1933 года «по непосредственным заданиям английской разведки». В состав организации входили работники руководящих звеньев партийного, советского и хозяйственного аппаратов и учебных учреждений, горкомов, райкомов и ЦК КП(б)Б, райисполкомов, промышленных наркоматов, Наркомфина, Белорусской Академии наук, Союза писателей БССР, ЛКСМБ. Основная задача – «дезорганизация хозяйства страны с целью дискредитации руководства партии», а также подготовка терактов против К. Е. Ворошилова и М. И. Калинина. Гикало и его единомышленники вели «активную диверсионно-вредительскую работу в промышленности, сельском хозяйстве, на транспорте и в Красной Армии».
Расстрелян в 1938 году.