Он провел кропотливую подготовительную работу и составил проект советско-японского Пакта о нейтралитете, который был подписан в 1940 году. Его пребывание и деятельность в Москве были счастливыми и плодотворными, что вызвало восхищение у русских. Молотов, не часто произносивший комплименты, похвалил Того: «В моей публичной жизни уже давно я не встречал такого человека, который так искренне, как господин Того, отстаивал бы то, что он считает для себя правым. Я уважаю господина Того не только как известного дипломата и государственного деятеля, но и как человека».
Мацуока, подобно внезапно налетевшему урагану, выбросил Того с его московского поста, оставив на мели и десятки других успешных работников министерства иностранных дел. Новый министр иностранных дел Ёсукэ Мацуока просто уволил каждого, кто не проявлял должного рвения в поддержке нового мирового альянса – ось Рим – Берлин – Токио. Того отказался подать в отставку, потому что он считал, что это будет «поощрением политики Мацуоки», и он остался в штате как посол, не получивший назначения.