Таким образом, окончательно в состав команды «Святой Анны» вошли 24 человека. Это были, кроме самого Георгия Брусилова, Валериана Альбанова и Ерминии Жданко, гарпунеры Вячеслав Шленский и Михаил Денисов, боцман Иван Потапов, старший рулевой Петр Максимов, матросы Александр Конрад, Густав Мельбард, Иоганн Параприц, Евгений Шпаковский, Ольгер Нильсен, Иван Луняев, Прохор Баев, Иван Пономарев, Александр Шахмин, Павел Смиренников, Гавриил Анисимов, Александр Архиреев, машинисты Яков Фрейберг и Владимир Губанов, кочегар Максим Шабатура, повар Игнатий Калмыков и стюард Ян Регальд.
Пятнадцатого сентября, перед выходом в Карское море, «Святая Анна» ненадолго остановилась на острове Вайгач в становище Хабарово. Именно оттуда участники экспедиции передали последние письма родным на стоявшие там пароходы телеграфной экспедиции «Нимрод» и «Вассиан». В своем письме Брусилов писал: «…
Ледовая обстановка в южной части Карского моря летом и осенью 1912 года была крайне неблагоприятной. Почти месяц шхуна пробивалась к берегам Ямала, а в нескольких десятках километров севернее мыса Харасавэй вмерзла в неподвижный береговой припай.
В течение двух недель судно стояло вблизи берега на широте 71°45'. Участники экспедиции, понимая, что выйти на чистую воду в ближайшие месяцы не удастся, начали готовиться к зимовке. Предполагалось даже построить на берегу баню, для отопления которой можно было бы использовать плавник, в изобилии имевшийся на суше. Однако 28 октября сильным южным ветром большое ледяное поле, в которое вмерзла «Святая Анна», оторвало от припая. Так начался многолетний непредсказуемый дрейф судна в совершенно неизведанные районы Арктики.
Положение «Святой Анны» в первую зиму 1912/13 года не внушало опасений. Известно было, что еще зимой 1882/83 года во время проведения Первого международного полярного года в южной части Карского моря зимовали датская шхуна «Димфна» и голландское парусно-моторное судно «Варна». Из-за повреждений корпуса «Варна» затонула, но ее экипаж перешел на борт «Димфны», а в сентябре 1883 года датское судно, освободившись из ледового плена, благополучно вернулось на родину. Во время дрейфа эти захваченные льдом суда не покидали Карское море, и казалось, что прочный корпус «Святой Анны» вполне способен противостоять напору карских льдов.
Однако ожидания участников экспедиции не оправдались. Вместо спокойного кругового дрейфа по югу Карского моря шхуна вместе со льдами начала движение в северном направлении, и к лету 1913 года «Святая Анна» находилась уже севернее Новой Земли, на широте 78°. Лед вокруг судна был слабым, со множеством каналов и полыней, и если бы на шхуне имелся хоть небольшой запас динамита, то освободиться из ледового плена и выйти в Баренцево море не составило бы труда. К сожалению, взрывчатых веществ на судне не оказалось, а пробить канал во льду при помощи пороха команде не удалось. Началась вторая зимовка во льдах. Несмотря на удачную охоту на тюленей и белых медведей, ко времени зимовки 1913/14 года на судне стала ощущаться нехватка продуктов и топлива. Недостаток продовольствия возмещали медвежьим мясом, на медведей охотились часто и довольно успешно. На топливо понемногу разбирали лишние переборки на судне.
Направление дрейфа к северу практически не менялось, и к весне 1914 года судно обогнуло с северо-востока архипелаг Земля Франца-Иосифа и продолжило медленно двигаться в северо-западном направлении. При удачном стечении обстоятельств «Святая Анна», двигаясь вместе со льдами на запад, могла теоретически достичь северных берегов Гренландии к лету 1915 года.