Яков Вилимович спешно принялся укреплять город, строить пушечный двор, изготавливать снаряды, обучать пушкарей. Под Нарвой русские потеряли почти всю артиллерию. Царь приказал часть церковных колоколов срочно перелить на пушки. Но думный дьяк А. А. Виниус, надзиравший за этими работами, с патриархальной неторопливостью больше обещал, чем делал, оправдываясь нерадением мастеровых. «В деле артиллерии, — писал он Петру, — много трудности: пущая остановка, Государь, от пьянства мастеровых, которых ни ласкою, ни битьем от той страсти отучить невозможно». Встревоженный царь почти умолял Виниуса: «Ради Бога, поспешайте артиллериею, как возможно; время, яко смерть».
Русская армия начала новое наступление. Брюс, не успев обжиться в Новгороде, кочевал со своими пушками по военным дорогам. В 1702 г. при его участии был взят Шлиссельбург, потом другие крепости, занятые шведами. Готовясь к осаде Нарвы, Петр сетовал в письме к Ромодановскому, что не хватает пушек и артиллерийской прислуги: «От чего нам здесь великая остановка делу нашему будет, без чего и починать нельзя, о чем я сам многажды говорил Виниусу, который отпотчивал меня «московским тотчасом». О чем изволь его допросить: для чего так делается такое главное дело с таким небрежением?» Виниус был смещен, и в 1704 г. Приказ артиллерии возглавил Брюс в звании генерал–фельдцейхмейстера. Под его началом были открыты навигацкая, артиллерийская и инженерная школы.
Письма Якова Вилимовича почти не раскрывают его личной жизни, это деловые сообщения о количестве пушек и артиллерийских припасов, о выполненных царских поручениях и т. д. Казалось, личной жизни у него не было вовсе, все его помыслы и старания посвящены служению России. И все‑таки этот суровый, замкнутый человек знал увлечения и волнения, понятные немногим: он был страстным коллекционером. Брюс собирал картины, древние монеты и редкие минералы, гербарии. Он владел несколькими языками и имел богатейшую по тем временам библиотеку. О широте научных познаний и интересов Брюса говорят его книги — по математике, физике, химии, астрономии, медицине, ботанике, истории, искусству и т. д. Но особенно гордился Яков Вилимович домашней кунсткамерой — собранием различных раритетов и «курьезов».
В описи кабинета, составленной после его смерти, значатся, например, такие вещи: «зеркало кругловитое небольшое, в котором кажет большое лицо»; «раковин разных больших и малых 99»; «туфли китайские плетеные из травы»; «гриб каменный»; «тыква индейская»; «кость мамонтовой головы»; «янтари, в которых есть мушки»; коробочка с «маленькой натуральной змейкой» и тому подобные диковины. Некоторым предметам чиновники даже не могли дать определение и писали просто: «некакой фрукт продолговатый», «два мячика некакого фрукта»… Недаром французский посланник Кампредон, советуя в 1721 г. своему правительству, каким образом завоевать расположение Брюса, подчеркивал, что Яков Вилимович не из тех, кого можно подкупить деньгами, и предлагал использовать его собирательский азарт: «Его королевское величество доставил бы ему большое удовольствие, если бы подарил ему гравированное по приказанию покойного короля собрание эстампов королевских дворцов».
В 1697 г. предприимчивый устюжский мужик В. В. Атласов был послан обследовать камчатские земли. Вернувшись в Москву, он привез с собой маленького желтокожего человека. Атласов забрал его у камчадалов, которые поведали любопытную историю. Года два назад к их берегу прибило большую лодку с незнакомыми людьми. Непривычные к суровому быту и скудной еде камчадалов, чужеземцы быстро умирали. Остался лишь один. В отчете, составленном в 1701 г., Атласов отмечал: «А нравом тот полоненик гораздо вежлив и разумен». Когда пленник увидел русских землепроходцев, в которых чувствовалась принадлежность к цивилизованному миру, то «зело плакал» от радости. Чужеземец успешно осваивал русский язык. В Москве удалось наконец выяснить, что это — японец. Он был первым японцем, которого увидела Россия. И даже официальные чины не вполне представляли, где находится его страна и что за люди там живут. Атласов в отчете именовал его «индейцем». В бумагах же Приказа артиллерии его назвали и того хитрее: «Апонского государства татарин именем Денбей».
А энергичный Петр уже строил далеко идущие планы. Передав Денбея под опеку Приказа артиллерии, царь повелел: «А как он, Денбей, русскому языку и грамоте изучится, и ему, Денбею, учить своему японскому языку и грамоте робят человек 4 или 5». Насчет вероисповедания Петр распорядился Денбея не притеснять: «А о крещении в православную христианскую веру дать ему, иноземцу, на волю и его, иноземца, утешать и говорить ему: как он русскому языку и грамоте навыкнет и русских робят своему языку и грамоте научит — и его отпустят в Японскую землю». Но скорее всего Денбею так и не удалось вернуться к родным берегам. Известно, что он со временем крестился под именем Гавриила, а школа переводчиков с японского действовала в Москве до 1739 г.