И он сдержал слово: в 20-летнем возрасте он поступил в училище в Петербурге, затратив при этом немало усилий на усовершенствование своего русского языка. Хотя Маннергейм окончил Николаевское кавалерийское училище в 1889 году среди лучших, попасть в гвардейский полк, а значит, служить при дворе и получать большое жалованье, что было для бедного барона немаловажно, сразу не удалось. Сперва пришлось два года тянуть армейскую лямку в Польше.
Отличная служба, связи и покровители помогли Маннергейму в 1891 году вернуться в Петербург и попасть в лейб-гвардейский полк, шефом которого была царица Александра Федоровна. Офицеры этого полка несли службу в покоях императрицы. Финляндский барон с головой окунулся в светскую жизнь: новые знакомые среди политиков, дипломатов, военных. Однако, чтобы поддерживать связи в высшем обществе, нужны были большие деньги. Маннергейм наделал долгов.
Карл Густав Маннергейм благодаря высокому росту (197 см) и элегантной манере держаться в седле участвовал во многих дворцовых торжественных церемониях. Широко известна фотография коронации последнего русского царя: Николай II шествует под огромным балдахином в Успенский собор, а по бокам — два великана-кавалергарда, один из которых — будущий основатель независимой Финляндии.
Страсть к лошадям — барон несколько раз успешно выступал на скачках — помогла Маннергейму в следующем году стать высоким чиновником в Управлении царскими конюшнями и получить жалованье полковника: он отбирал для покупки породистых лошадей. Частые командировки за границу, новые знакомства расширили кругозор 30-летнего кавалериста, он стал проявлять интерес к политическим делам.
В 1903 году Маннергейм стал командиром образцового эскадрона в кавалерийском офицерском училище. Эту почетную должность он получил по рекомендации генерала А. А. Брусилова и великого князя Николая Николаевича.
Блестящий гвардейский офицер, он мог рассчитывать на выгодный брак. Он женился в 1892 году на Анастасии Александровне Араповой, богатой, но некрасивой и капризной дочери русского генерала, поправив при этом свое финансовое положение. Через год у молодоженов родилась дочь, которую в честь матери назвали Анастасией (умерла в 1978 г.), а в 1895 году — Софи (умерла в 1963 г.).
Брак по расчету не был счастливым, а рождение мертвого сына еще больше осложнило отношения между супругами. Анастасия Александровна в 1901 году уехала в Хабаровск сестрой милосердия, оставив детей на отца. Когда через год она вернулась, семейная жизнь Маннергеймов не пошла на лад. Супруги решили расстаться. Анастасия Александровна, взяв с собой дочерей, уехала за границу.
Когда вспыхнула русско-японская война, Маннергейм вызвался отправиться добровольцем на фронт. Он хотел подкрепить свою дальнейшую карьеру опытом боевого офицера. Братья и сестры, а также вернувшийся к тому времени в Финляндию отец не одобрили его намерений. Если поступление молодого Маннергейма на службу в русскую армию не вызвало особого возражения у его родственников и знакомых — царю и раньше служили многие скандинавские дворяне, — то добровольное желание воевать за царскую Россию следовало расценивать как полную солидарность с политикой самодержавия в Финляндии. Карл Густав Эмиль понимал и в какой-то степени разделял доводы родственников, но своему решению не изменил: совестно было вести светскую жизнь, когда коллеги-офицеры проливали кровь на войне.
На полях сражений Русско-японской войны ставший уже подполковником Маннергейм показал себя храбрым и грамотным офицером. В начале 1905 года он проводил разведывательные операции в окрестностях Мукдена, которые дали высшему командованию ценную информацию о планах японцев, а их исполнителю — чин полковника.
Не случайно, что в 1906 году Маннергейм был отправлен Генштабом в «инспекционную», а на деле чисто разведывательную двухлетнюю поездку в Китай. Маннергейм как подданный Великого княжества Финляндии как никто подходил для такой цели. К тому же формально он был в экспедиции французского синолога, профессора Сорбонны П. Пэллио и для маскировки должен был заниматься этнографическими и другими научными исследованиями.