В декабре Тульская дивизия была направлена на Западный фронт, где ожидалось наступление войск Польши. Под командованием Тухачевского Василевский принимал участие в нескольких наступательных операциях: на Березине, под Сморгонью, Вильно.
В 1926 году Василевский, будучи уже командиром полка, прошел годичное обучение на курсах «Выстрел».
Затем, после почти двенадцатилетнего пребывания в 48-й дивизии, он приказом наркома был направлен в формировавшееся Управление боевой подготовки РККА, которое вело проверку боевой готовности войск и отрабатывало на практике новые формы общевойскового боя.
В 1936 году Василевскому было присвоено звание полковника, а осенью того же года приказом наркома он был зачислен в первый набор слушателей Академии Генерального штаба.
Аресты среди высших военачальников Красной Армии в 1937—1938 годах ускорили продвижение молодых специалистов на их места. В конце августа Василевский назначается начальником кафедры оперативного искусства (армейской операции) академии, а через месяц – начальником отделения Генерального штаба. И с этого времени военная деятельность Василевского будет связана с Генеральным штабом.
Отделение оперативной подготовки он возглавлял до июня 1939 года. В связи с надвигающейся войной работа в Генеральном штабе была напряжена до предела. Василевскому приходилось лично участвовать как в разработке военных кампаний 1939—1940 годов (бои на Халхин-Голе, поход в Западную Украину и Западную Белоруссию осенью 1939 года, советско-финляндская война), так и в перевооружении Красной Армии. Немалую роль в воспитании Василевского как первоклассного генштабиста сыграл видный военный ученый, много лет проработавший в должности начальника Генерального штаба, Б.М.Шапошников. В эти же годы стали складываться и личные взаимоотношения Василевского со Сталиным.
В ноябре 1940 года Василевский в качестве военного эксперта принял участие в поездке в Берлин в составе делегации под руководством председателя Совнаркома В.М.Молотова.
Уже с февраля 1941 года Германия начала постепенно сосредотачивать войска у советских границ. Генеральному штабу приходилось с учетом ежедневно поступающей тревожной информации вносить коррективы в имеющийся план по отражению надвигающегося нападения.
Весной начались мероприятия по мобилизации резервистов, переброске к границам войск из глубины страны, строительство новых оборонительных сооружений. Однако полностью завершить эти мероприятия не удалось.
22 июня началась война. Через несколько дней создается Ставка Верховного главнокомандования вначале во главе с наркомом обороны С.К.Тимошенко, а затем во главе с И.В.Сталиным. Членом Ставки становится и Василевский.
Начальником Генерального штаба был вновь назначен Б.М.Шапошников, а его заместителем и начальником оперативного управления – Василевский. С этих пор его встречи со Сталиным сделались почти ежедневными. Одной из главных тем докладов Верховному главнокомандующему стало формирование стратегических резервов.
Главным направлением являлось центральное, на котором были сосредоточены основные массы гитлеровских войск, нацеленных на захват Москвы. Но Генеральный штаб не смог своевременно предугадать замысел противника, который планировал окружить под Вязьмой и Брянском значительные массы войск Западного, Резервного и Брянского фронтов, а в дальнейшем пехотными соединениями наступать на Москву с запада, а танковыми группами охватить столицу с севера и юга. 30 сентября началась операция «Тайфун»; противнику удалось прорвать фронт и окружить в районе Вязьмы четыре советские армии.
Для удержания самыми жесткими мерами обороны в районе Гжатска и Можайска туда прибыли представители Государственного комитета обороны В.М.Молотов и К.Е.Ворошилов, а в качестве представителя Ставки – Василевский. Буденный, потерявший связь со своими войсками, был отстранен от командования Резервным фронтом, командующему Западным фронтом генералу Коневу угрожал трибунал. Положение спас Г.К.Жуков, принявший командование Западным фронтом и взявший Конева своим заместителем.
В результате нависшей над Москвой угрозы большая часть Генерального штаба была эвакуирована в Куйбышев. В Москве осталась лишь оперативная группа для обслуживания Ставки из десяти человек, руководить которой было поручено Василевскому.
В разгар битвы за Москву по личному указанию Сталина Василевскому было присвоено звание генерал-лейтенанта.
В конце ноября Шапошников заболел, и обязанности начальника Генерального штаба были временно возложены на Василевского. С его именем связано руководство наступлением Калининского фронта (командующий И.С.Конев), первым перешедшего в контрнаступление в ночь на 5 декабря, а также координация действий Юго-Западного фронта по освобождению Ростова-на-Дону.