Общее руководство русскими войсками на Дальнем Востоке со стороны адмирала Алексеева длилось не долго. Вскоре в помощь ему для командования морскими силами был назначен адмирал С. О. Макаров, а для командования сухопутными силами – генерал от инфантерии А. Н. Куропаткин, военный министр России. Будучи командующим Маньчжурской армией, Алексей Николаевич был наделен правами главнокомандующего, ему предназначалась вполне самостоятельная и ответственная роль по командованию войсками с целью «облегчить наместнику выполнение выпавшей на его долю тяжелой исторической задачи». Оказанное Куропаткину доверие в отношении командования войсками на театре войны привело к тому, что влияние наместника и его начальника штаба на ход военных действий стало весьма ограниченным. Им, передавшим все войска в распоряжение генерала Куропаткина, не оставалось ничего другого, как давать советы и делиться предложениями. Если же наместник усиливал свои требования, то Куропаткин обращался с жалобой в Петербург. Иногда, правда, он соглашался с рекомендациями Алексеева. Чаще всего это делалось для того, чтобы затем можно было в случае неудачи свалить всю вину и ответственность на наместника. За это штаб наместника, как отмечали современники, мстил Куропаткину и подвергал беспощадной критике все его действия. Не оставался в стороне и штаб Маньчжурской армии, который со злобой говорил про штаб наместника.
В действительности надо признать, что в штабе наместника придерживались во время этой войны более здравых взглядов, выражавшихся не в выжидательной стратегии, а в решительном наступлении. В каком виде все это вылилось бы на практике, сумей штаб наместника осуществить свои планы, взяв на себя ответственность, – это другой вопрос. Во всяком случае, противоречия между двумя штабами не способствовали достижению общей цели, а генерал Жилинский, к сожалению, не смог изменить в лучшую сторону складывающуюся ситуацию. 26 октября 1904 года, с ликвидацией штаба наместника, завершилась деятельность Якова Григорьевича в Русско-японской войне. Она была отмечена двумя орденами: Святого Станислава 1-й степени с мечами и Святой Анны I степени с мечами.
Возвратившись в столицу, генерал Жилинский в течение нескольких месяцев находился в распоряжении военного министра, затем около полутора лет командовал 14-й кавалерийской дивизией Варшавского военного округа.
Этот период жизни Я. Г. Жилинского был связан с одной «темной» историей, о которой шепотом говорили офицеры в своем кругу. По распространенной в то время легенде, генерал Жилинский имел любовницу в Варшаве и в один из своих приездов застал ее в передней, целующейся с офицером. В порыве ревности Яков Григорьевич выстрелом из револьвера убил своего соперника. Чтобы скрыть убийство, Жилинский вместе с любовницей вложили в руку офицера револьвер и, позвав швейцара, заявили о его самоубийстве. Проведенное следствие подтвердило версию, выдвинутую генералом и его любовницей. Однако в офицерских кругах говорили о том, что Жилинскому просто удалось откупиться от обвинения, заплатив очень большие деньги.
Казалось бы, такая криминальная история способна была оказать негативное влияние на служебный рост генерала Жилинского. Но этого не произошло. Вскоре Яков Григорьевич был назначен командиром 10 армейского корпуса, а 18 апреля 1910 года ему присваивается очередное воинское звание – генерал от кавалерии.
22 февраля 1911 года Я. Г. Жилинский принял должность начальника Генерального штаба Сухопутных войск Российской империи, сменив на этом посту генерала Ф. Ф. Палицына. Мир уже стоял на пороге Первой мировой войны, и перед Генеральным штабом стояли исключительно сложные и ответственные задачи. Одним из направлений его деятельности стало согласование планов войны России и Франции против Германии и Австро-Венгрии, а также разработка стратегического плана ведения войны самой русской армией.