Русская армия начала новое наступление. Брюс, не успев обжиться в Новгороде, кочевал со своими пушками по военным дорогам. В 1702 году при его участии был взят Шлиссельбург, потом другие крепости, занятые шведами. Готовясь к осаде Нарвы, Петр сетовал в письме к Ромодановскому, что не хватает пушек и артиллерийской прислуги: «От чего нам здесь великая остановка делу нашему будет, без чего и починать нельзя, о чем я сам многажды говорил Виниусу, который отпотчивал меня «московским тотчасом». О чем изволь его допросить: для чего так делается такое главное дело с таким небрежением?» Виниус был смещен, и в 1704 году Приказ артиллерии возглавил Брюс в звании генерал-фельдцейх мейстера. Под его началом были открыты навигацкая, артиллерийская и инженерная школы.
Письма Якова Вилимовича почти не раскрывают его личной жизни, это деловые сообщения о количестве пушек и артиллерийских припасов, о выполненных царских поручениях и т. д. Казалось, личной жизни у него не было вовсе, все его помыслы и старания посвящены служению России. И все-таки этот суровый, замкнутый человек знал увлечения и волнения, понятные немногим: он был страстным коллекционером. Брюс собирал картины, коллекции древних монет и редких минералов, гербарии. Он владел несколькими языками и имел богатейшую по тем временам библиотеку. О широте научных познаний и интересов Брюса говорят его книги – по математике, физике, химии, астрономии, медицине, ботанике, истории, искусству и т. д. Но особенно гордился Яков Вилимович домашней кунсткамерой – собранием различных раритетов и «курьезов».
В описи кабинета, составленной после его смерти, значатся, например, такие вещи: «зеркало кругловитое небольшое, в котором кажет большое лицо»; «раковин разных больших и малых 99»; «туфли китайские плетеные из травы»; «гриб каменный»; «тыква индейская»; «кость мамонтовой головы»; «янтари, в которых есть мушки»; коробочка с «маленькой натуральной змейкой» и тому подобные диковины. Некоторым предметам чиновники даже не могли дать определение и писали просто: «некакой фрукт продолговатый», «два мячика некакого фрукта»… Недаром французский посланник Кампредон, советуя в 1721 году своему правительству, каким образом завоевать расположение Брюса, подчеркивал, что Яков Вилимович не из тех, кого можно подкупить деньгами, и предлагал использовать его собирательский азарт: «Его королевское величество доставил бы ему большое удовольствие, если бы подарил ему гравированное по приказанию покойного короля собрание эстампов королевских дворцов».
В. В. Атласов, предприимчивый устюжский мужик, посланный в 1697 году обследовать камчатские земли, вернувшись в Москву, привез с собой маленького желтокожего человека. Атласов забрал его у камчадалов, которые поведали любопытную историю. Года два назад к их берегу прибило большую лодку с незнакомыми людьми. Непривычные к суровому быту и скудной еде камчадалов, чужеземцы быстро умирали. Остался лишь один. В отчете, составленном в 1701 году, Атласов отмечал: «А нравом тот полоненик гораздо вежлив и разумен». Когда пленник увидел русских землепроходцев, в которых чувствовалась принадлежность к цивилизованному миру, то «зело плакал» от радости. Чужеземец успешно осваивал русский язык. В Москве удалось наконец выяснить, что это – японец. Он был первым японцем, которого увидела Россия. И даже официальные чины не вполне представляли, где находится его загадочная страна и что за люди там живут. Атласов в отчете именовал его «индейцем». В бумагах же Приказа артиллерии его назвали и того хитрее: «Апонского государства татарин именем Денбей».
А энергичный Петр уже строил далеко идущие планы. Передав Денбея под опеку Приказа артиллерии, царь повелел: «А как он, Денбей, русскому языку и грамоте изучится, и ему, Денбею, учить своему японскому языку и грамоте робят человек 4 или 5». Насчет вероисповедания Петр распорядился Денбея не притеснять: «А о крещении в православную христианскую веру дать ему, иноземцу, на волю и его, иноземца, утешать и говорить ему: как он русскому языку и грамоте навыкнет и русских робят своему языку и грамоте научит – и его отпустят в Японскую землю». Но скорее всего Денбею так и не удалось вернуться к родным берегам. Известно, что он со временем крестился под именем Гавриила, а школа переводчиков с японского действовала в Москве до 1739 года.
Брюс, который в качестве главы Приказа артиллерии опекал и «утешал» Денбея, начал грезить Японией. Брауншвейгский резидент в России Ф.-Х. Вебер в своих «Записках» рассказывает, что Брюс мечтал найти путь из России в Японию и послал экспедицию, которая отчалила от дальневосточного побережья для поисков этой неведомой земли, но в бурю погибла. Еще Вебер сообщал: «У сего Брюса был кабинет китайских редкостей, и он очень сожалел, что невозможно никак приобрести точных сведений о положении и особенностях Китайского государства, потому что наряжаемые туда посольства и все русские купцы не имеют права оставаться там долее 3 или самое большее 4 месяцев».