Яков вышел из Пажеского корпуса летом 1808 года, в разгар непрекращающихся войн в Европе, которые вел Наполеон, претендовавший на полное господство на континенте. Русской армии уже доводилось сражаться с его войсками в Италии и при Аустерлице, и, несмотря на перемирие, в России понимали, что большая схватка с французами еще впереди. Поэтому в армию стремились многие юные дворяне, считавшие карьеру военного лучшим исполнением патриотического долга. Среди них был и Яков Толстой, зачисленный 20 ноября 1808 г. прапорщиком придворного лейб-гренадерского полка. Но жизнь при дворе, интриги и однообразные утомительные церемониалы быстро наскучили юноше, еще в пажах отличавшемуся тягой к литературному творчеству. В декабре 1810 года Яков Толстой подал в отставку. Уже через год он сдал экзамены за курс наук в педагогическом институте, получив право на гражданский чин коллежского асессора. Возможно, Яков стремился продолжить образование, но уже совсем близкая война с Наполеоном изменила его планы.
В апреле 1812 года он подает прошение о восстановлении в армии и получает назначение в один из пехотных полков, спешно выдвигавшихся к западной границе. Первый бой полк принял в Белоруссии под Кобрином 15 июня 1812 г., сражаясь с авангардными войсками армии Наполеона. Яков Толстой участвовал в сражениях 1812 года, в кампаниях 1813–1814 годов, за которые был удостоен боевых наград, включая орден Св. Владимира с бантом — боевой орден за личную храбрость, высоко ценимый среди офицерства. По окончании войны Яков вернулся в Петербург, получив назначение адъютантом к генерал-лейтенанту Л.О. Роту в гвардейский Павловский полк.
В январе 1817 года Толстой назначается старшим адъютантом дежурного генерала Генерального штаба А.А. Закревского. Теперь через руки молодого капитана проходят распоряжения и приказы для всей русской армии.
Одновременно в жизни Якова происходит событие, благодаря которому он в основном и остался известен потомкам: в том же 1817 году он входит в кружок молодых литераторов — «лихих рыцарей, друзей свободы и вина», получивший название «Зеленая лампа» в честь абажура, под которым участники кружка собирались в доме его председателя Никиты Всеволожского. Там Толстой знакомится с Пушкиным, Глинкой, Дельвигом, Чаадаевым, Шаховским, многими другими знаменитостями того щедрого на таланты времени. В 1819 году встречи с квартиры Всеволожского перешли к Толстому. Тогда же Пушкин посвятил ему «Стансы»:
Среди блестящей и шумной молодежи, составлявшей кружок, Толстой выделялся собранностью, внутренней серьезностью, что хорошо подметил Пушкин. Если другие «кавалеры «Зеленой лампы»», любившие порассуждать о свободе и равенстве, а иногда и о свержении тирании, делили время в основном между пирушками, любовными историями, картами и театром, то Яков неукоснительно исполнял службу в Генштабе, а свои первые стихотворные опыты, довольно напыщенные и тяжеловесные, сохранял от друзей в тайне. Эта тайна раскрылась только в 1821 году, когда Яков Толстой все-таки решился издать свою первую книгу «Мое праздное время», в которую вошло 28 стихотворений. И снова два важных события одновременно: в том же 1821 году Толстой получает высокую должность старшего адъютанта Генштаба. Теперь он допущен к делам особой важности и секретности — мобилизационным планам, переписке с военными агентами России за границей, обработке поступавшей от них информации, в том числе и разведывательной.
Вместо распавшейся «Зеленой лампы» в Петербурге стали появляться первые тайные общества, куда входили офицеры и молодые чиновники — предшественники декабристских организаций. В одно из них — Союз Благоденствия — вступил и Яков Толстой.
Толстой продолжал служить и посещать собрания общества до апреля 1823 года, когда по состоянию здоровья испросил у начальства годичный отпуск для лечения больной ноги и уехал в Париж.
Первые впечатления о парижской жизни Толстой описал в появлявшихся с 1823 года в журнале «Сын Отечества» статьях, в которых он рисовал яркие картины политической жизни Франции, давал обзоры се культуры и искусства. В самом Париже Толстой стал вести с 1824 года в академическом издании «Ревю энциклопеди» постоянную колонку, посвященную русской литературе и искусству. По меткому выражению П. Вяземского, «Толстой в 20-е гг. был генеральным консулом по русской литературе во Франции». Он одним из первых перевел на французский Пушкина, открыл для европейцев талант Крылова, которого они до этого считали подражателем Лафонтену, познакомил их с творчеством А.С. Грибоедова и А.А. Бестужева-Марлинского.