Спланированная Йодлем операция поначалу развивалась успешно, но при высадке альпийских стрелков в Нарвике англичанам удалось потопить 10 немецких эсминцев, нанеся значительный урон немецкому флоту. Затем в Нарвике был высажен большой десант объединенных войск, состоящий из английских, французских и польских солдат. Гитлер хотел приказать войскам Дитля, находившимся в Нарвике, отступать на юг и оставить город союзникам. Но Йодль отказался отдать такой приказ, понимая, что это непродуманное решение. Он заявил, что группа Дитля должна сражаться там, где она находится, а отступление на юг может обернуться потерей большого количества транспортных самолетов, которые осуществляли поддержку и пополнение горно-стрелковой дивизии, так как им придется совершать посадки на лед. Ему удалось настоять на таком решении и переубедить Гитлера. Благодаря этому Норвежская кампания была выиграна.
После победы в Норвегии Йодль стал вхож в ближайший круг фюрера. Он был приглашен на обед к Гитлеру и затем еще несколько лет за обеденным столом Гитлера имел постоянное отведенное специально ему место.
Несмотря на удачу в Норвегии, дальнейшие разработки оперативных планов были переданы обратно штабу ОКХ.
Вскоре наступила очередь плана «Барбаросса». Осуществление этого плана фюрер поручил ОКХ, а ОКВ должно было контролировать выполнение приказов верховного главнокомандующего. Йодль и Кейтель не разделяли уверенности Гитлера в том, что захват СССР будет таким же легким, как и предыдущие кампании вермахта. Но они были убеждены в возможности пусть нескорого разгрома Советского Союза. Функции штаба ОКВ заключались в разработке оперативно-стратегических директив, информировании Гитлера о ходе операций и обеспечении взаимодействия между родами войск, а также союзниками Германии. Гитлер часто обращался за советами и консультациями к Йодлю, минуя Гальдера, и вскоре Йодль через голову своего начальника фельдмаршала Кейтеля установил прямую связь с фюрером. Йодль мог смело спорить с Гитлером по важнейшим военным вопросам, которые обсуждались в Ставке.
Первое крупное разногласие возникло уже летом 1941 года. Причиной послужило то, что кампания по захвату СССР стала развиваться не так, как была спланирована, и пришлось срочно координировать ее ход. Группы армий «Север» и «Юг» не смогли разгромить советские войска до конца июля 1941 года, как это было предусмотрено планом «Барбаросса», а только оттеснили их на восток. Успеха добилась только группа армий «Центр». Гитлер считал, что сначала должны были быть захвачены Ленинград и южные районы, и для этого приказал перебросить часть войск группы «Центр» на северное и южное направления. Йодль настаивал на захвате Москвы в первую очередь. Генерал предлагал в конце августа провести наступательную операцию, в ходе которой захватить столицу. Он обратил внимание фюрера на то, что в распоряжении группы армий «Центр» остается всего несколько месяцев, после чего начнется осенняя распутица и местность станет непроходимой. Гитлер не внял советам и приказал начать переброску войск. В результате начатое 2 октября наступление вермахта на Москву захлебнулось.
Следующие серьезные расхождения между генералом Йодлем и Гитлером пришлись на лето 1942 года. Генерал предлагал вместо бессмысленного наступления на Кавказ взять штурмом Ленинград. Но Гитлер требовал продолжать наступление на Кавказ. Для того чтобы заставить командующего группой армий «А» фельдмаршала Листа продолжить наступление, Гитлер направил к нему Йодля. Ему было поручено разведать обстановку и подтолкнуть фон Листа к более решительному продвижению. Но, вернувшись из поездки, Йодль встал на защиту фон Листа и стал оправдывать его действия, снова предложив фюреру начать наступление на Ленинград вместо Кавказа. Разразился страшный скандал. Гитлер даже хотел заменить Йодля Паулюсом, но поражение немцев под Сталинградом не дало осуществить эту замену. Фридрих Паулюс вместе со всей группировкой попал в плен, и Йодль остался на своем посту. Дальнейшие события на фронте доказали правоту предложений Йодля. Гитлер хоть и продолжал относиться к нему без особой симпатии, но понял, что на своем посту Йодль был лучшим из всех штабных офицеров.
Сталинград убедил Йодля, что война уже не будет выиграна Германией, но по долгу офицера он продолжал выполнять приказы фюрера.
В январе 1944 года Альфред Йодль стал генерал-полковником. Он продолжал служить в ставке Гитлера. Значительное улучшение в их взаимоотношения внесли события 20 июля 1944 года. Во время взрыва генерал Йодль был легко ранен. Неудачный заговор сблизил Гитлера, Кейтеля и Йодля. Вместе с фюрером они оставались почти до конца апреля 1945 года.