В течение двух недель судно стояло вблизи берега на широте 71°45'. Участники экспедиции, понимая, что выйти на чистую воду в ближайшие месяцы не удастся, начали готовиться к зимовке. Предполагалось даже построить на берегу баню, для отопления которой можно было бы использовать плавник, в изобилии имевшийся на суше. Однако 28 октября сильным южным ветром большое ледяное поле, в которое вмерзла «Святая Анна», оторвало от припая. Так начался многолетний непредсказуемый дрейф судна в совершенно неизведанные районы Арктики.

Положение «Святой Анны» в первую зиму 1912/13 года не внушало опасений. Известно было, что еще зимой 1882/83 года во время проведения Первого международного полярного года в южной части Карского моря зимовали датская шхуна «Димфна» и голландское парусно-моторное судно «Варна». Из-за повреждений корпуса «Варна» затонула, но ее экипаж перешел на борт «Димфны», а в сентябре 1883 года датское судно, освободившись из ледового плена, благополучно вернулось на родину. Во время дрейфа эти захваченные льдом суда не покидали Карское море, и казалось, что прочный корпус «Святой Анны» вполне способен противостоять напору карских льдов.

Однако ожидания участников экспедиции не оправдались. Вместо спокойного кругового дрейфа по югу Карского моря шхуна вместе со льдами начала движение в северном направлении, и к лету 1913 года «Святая Анна» находилась уже севернее Новой Земли, на широте 78°. Лед вокруг судна был слабым, со множеством каналов и полыней, и если бы на шхуне имелся хоть небольшой запас динамита, то освободиться из ледового плена и выйти в Баренцево море не составило бы труда. К сожалению, взрывчатых веществ на судне не оказалось, а пробить канал во льду при помощи пороха команде не удалось. Началась вторая зимовка во льдах. Несмотря на удачную охоту на тюленей и белых медведей, ко времени зимовки 1913/14 года на судне стала ощущаться нехватка продуктов и топлива. Недостаток продовольствия возмещали медвежьим мясом, на медведей охотились часто и довольно успешно. На топливо понемногу разбирали лишние переборки на судне.

Направление дрейфа к северу практически не менялось, и к весне 1914 года судно обогнуло с северо-востока архипелаг Земля Франца-Иосифа и продолжило медленно двигаться в северо-западном направлении. При удачном стечении обстоятельств «Святая Анна», двигаясь вместе со льдами на запад, могла теоретически достичь северных берегов Гренландии к лету 1915 года.

Еще во время первой зимовки участники экспедиции начали болеть, чему немало способствовали тяжелые условия зимовок во время полярной ночи, неопределенность положения, скудость питания и отсутствие витаминов. Перед новым, 1913 годом тяжелый недуг сразил и самого Георгия Львовича. Болезнь его продолжалась несколько месяцев, долгое время он лежал в постели, временами впадая в забытье, и лишь весной с появлением солнца здоровье его стало улучшаться, его стали выносить на палубу. 2 мая 1913 года Брусилов записал в судовом журнале: «Меня сегодня вынесли на стуле на лед, потом положили на носилки и обнесли вокруг судна и по палубе». Во время болезни капитана его обязанности пришлось исполнять штурману, как самому опытному из всех членов экипажа. Скорее всего, именно это обусловило некое соперничество в командовании экспедицией, а после выздоровления капитана стало причиной разногласий между Брусиловым и Альбановым. Двадцать второго сентября в судовом журнале появилась запись, сделанная Брусиловым: «Отставлен от своих обязанностей штурман».

По-видимому, это положение не давало покоя Валериану Альбанову, и в начале 1914 года он принял решение весной пешком по льду добраться до Земли Франца-Иосифа, расположенной на расстоянии около 100 километров от дрейфующей шхуны. Альбанов рассчитывал, что при самых неблагоприятных обстоятельствах дойти до самого северного острова Земли Франца-Иосифа – острова Рудольфа – можно всего за месяц. Из публикаций того времени было известно, что на мысе Флора (остров Нордбрук, Земля Франца-Иосифа) существовали постройки, оставленные английской экспедицией Фредерика Джексона 1894–1897 годов, и, возможно, запасы продовольствия. С мыса Флора можно было добраться до населенных мест на Шпицбергене или Новой Земле. Точной карты этого района у Альбанова не было (их в то время не было вообще), в его распоряжении была лишь приблизительная карта архипелага из приложения к русскому изданию книги Фритьофа Нансена «Среди льдов во мраке ночи».