После начала войны с Советским Союзом гитлеровское руководство, не давая согласия на образование национальных правительств, к чему стремились закавказские националисты-эмигранты, тем не менее одобрило программу формирования национальных подразделений и частей из числа эмигрантов и военнопленных. Ускорил принятие этого решения провал политики «блицкрига» на Востоке и перспектива длительной войны с Советским Союзом.
Командование вермахта приступило к активной работе по формированию батальонов из различных национальностей Советского Союза с лета 1941 года. Происходило это следующим образом. Из лагерей советских военнопленных «подходящий» человеческий материал направлялся на сборные пункты, чаще всего в с. Веньяминов (близ Варшавы), откуда затем они рассылались в различные формировочные пункты.
В 30 км восточнее Варшавы в местечке Весело, начиная с лета 1942 года, начал действовать специально созданный штаб по формированию батальонов из кавказских национальностей. Позже, в октябре 1943 года здесь же начал действовать штаб по формированию батальонов из прибалтийских национальностей. Штаб возглавляли представители немецкого командования.
В частности, из грузин была предпринята попытка сформировать отдельный полк под названием «Георгиен легион» («Грузинский легион»). 14 мая 1942 года в лагерь по формированию, расположенный в местечке Кручина на территории Польши, прибыл из Берлина эмигрант Тогонидзе, одетый в немецкую военную форму. Вместе с ним было еще несколько кавказцев. На наскоро собранном митинге Тогонидзе заявил следующее: «Кавказ будет занят немецкими войсками до осени. Наша задача организовать грузинские военные части, чтобы вместе с немцами вступить в Грузию. Мы пойдем туда с нашим национальным знаменем».
Сформировать полк на базе Грузинского легиона, однако, не удалось. Легион принял форму усиленного батальона, в составе 4 рот.
В ходе обучения легионеров немцы стремились поддерживать строгий, если не жестокий, порядок. Провинившихся при полной выкладке и в противогазе заставляли выполнять команды «Бегом», «Ложись», «Встать». Нередко их заставляли влезать на дерево и на ветке стоять по стойке «смирно». Многие, не выдержав, падали вниз. Активно применялся и метод круговой поруки, когда за проступок одного солдата несла ответственность вся рота. Так было в каждой национальной части.
Тех же, кто хорошо справлялся со своими обязанностями, стремились поощрять. В мае 1942 года для легионеров-отличников была организована даже специальная поездка в Берлин. От каждого национального батальона выделялось по 4 человека. Вот как описывает эту поездку перебежавший позже на сторону советских войск солдат Грузинского легиона А. Какавадзе: