Эти годы для Жилинского стали знаковыми. Последовательно занимая должности младшего и старшего делопроизводителя, он принимает активное участие в исследовании военного опыта иностранных государств, в результате чего появились его первые печатные труды, не подлежавшие в то время оглашению. За свою работу Яков Григорьевич был отмечен рядом наград: российскими орденами Святой Анны 3-й степени (1888 г.), святого Станислава 2-й степени (1894 г.), Святой Анны 2-й степени (1896 г.), а также несколькими иностранными орденами. В 1888 г. он был награжден орденом Прусской короны 2-й степени, спустя два года – Командорским крестом нидерландского ордена Льва и Командорским крестом 2 класса Виртембергского ордена Фридриха, а в 1894 году – сербским орденом Почетного легиона, турецким орденом Меджидия 2-й степени, в последующие два года – черногорским орденом князя Даниила Первого 2-й степени и Командорским крестом ордена Вюртембергской короны
[3].В декабре 1896 года служба полковника Жилинского в Главном штабе прерывается. Он прикомандировывается на полтора года к лейб-гвардейскому Уланскому Ее Величества государыни императрицы Александры Федоровны полку для практического изучения кавалерийской службы. По истечении назначенного срока Яков Григорьевич назначается в распоряжение начальника Главного штаба.
В мае 1898 года он направляется на театр испано-американской войны на остров Кубу в качестве военного агента России при испанской армии. По возвращении в Россию о своих пятимесячных наблюдениях Яков Григорьевич представил отчет. В нем он основательно раскрыл картину этой войны с выявлением причин поражений испанской армии, сделал полезные для Российской армии обобщения и выводы. Отчет оказался настолько интересным, что по решению начальника Главного штаба был издан значительным тиражом и направлен для изучения в войсках и военно-учебные заведения. Испанское правительство наградило полковника Жилинского орденом, а в октябре этого же года император Николай II присвоил ему звание почетного гражданина города Михайлова Рязанской губернии, на территории которой Яков Григорьевич имел родовое наследство в 670 гектаров земли
[4].В следующем году полковник Жилинский, зарекомендовавший себя человеком с довольно высокими аналитическими способностями, включается в состав делегации Военного министерства на Гаагскую конференцию, на которой 26 государств приняли три конвенции о законах и обычаях войны.
В августе 1899 года Яков Григорьевич вступил в командование 52-м драгунским Нежинским полком. Ровно через год, в возрасте 47 лет, он был произведен в генерал-майоры с одновременным назначением на пост генерал-квартирмейстера Главного штаба, в круг ведения которого входила тогда вся служба Генерального штаба. Его усердие по службе за это время было отмечено восемью отечественными и зарубежными орденами, а также подарком с вензелевым изображением имени Его императорского Величества
[5].В ночь на 27 января (9 февраля) 1904 года нападением японского флота на русскую эскадру в Порт-Артуре началась Русско-японская война, преследовавшая цель передела сфер влияния на Дальнем Востоке противоборствующими сторонами. В этот же день главнокомандующим всеми сухопутными и морскими силами, действовавшими против Японии, был назначен наместник царя на Дальнем Востоке адмирал и генерал-адъютант Евгений Иванович Алексеев, внебрачный сын Александра II. На должность начальника штаба получил назначение генерал-лейтенант Я. Г. Жилинский, удостоенный очередного воинского звания одновременно с назначением на новую должность. При штабе главнокомандующего состоял многочисленный штат адъютантов, генералов, штаб и обер-офицеров Генерального штаба (в общей сложности свыше 100 человек).
Очевидцы отмечали, что в течение всего времени совместной работы между царским наместником и начальником штаба взаимодоверие отсутствовало. Стало это следствием того, что наместник хотел иметь начальником штаба своего старого, постоянного и доверенного сотрудника 44-летнего генерала Василия Егоровича Флуга. Но в Петербурге сочли, что он слишком молод для такого поста, и послали к наместнику генерала Жилинского. Генерал Флуг, оставаясь при наместнике в роли генерал-квартирмейстера, служил передаточным звеном между наместником и его начальником штаба. Нельзя не признать, что такая связь была очень опасной, не объединявшая, а разъединявшая двух весьма важных должностных лиц, живших в отдельных поездах и сравнительно редко встречавшихся. И только благодаря такту и огромной выдержке генерала Флуга удалось избежать полного разрыва в деятельности адмирала Алексеева и генерала Жилинского.