Если до Тобольска — столицы тогдашней Сибири — ссыльных вез конвой под началом гвардейского офицера Макшеева, который все-таки знал, кто такие Долгорукие, и невольно оказывал им почтение, делал им, в нарушение указа, мелкие послабления, то после Тобольска все переменилось. Долгорукие оказались во власти местных начальников. Прощаясь с Долгорукими, Макшеев, по словам Натальи, грустил при расставании и говорил им: «Теперь-то вы натерпитесь великого горя, эти люди необычайные, они с вами будут поступать как с подлыми, никаково снисхождения от них не будет».
Это и неудивительно — здесь, в глубине Сибири, бывшие титулы, звания, слава ровным счетом ничего не значили, а «как мы тогда назывались арестанты, иного имени не было, что уже в свете этого титула хуже, такое нам и почтение». И действительно, поступили они под команду гарнизонного капитана — выходца из крестьян. Он чванился, даже не разговаривал с арестантами, а между тем ходил к ним обедать. «В чем он хаживал, — зажимая носик, восклицала княгиня Долгорукая, — епанча солдацкая на одну рубашку, да туфли на босу ногу, и так с нами сидит.
Я была всех моложе и невоздержна, не могу терпеть, чтоб не смеятца, видя такую смешную позитуру». Но делать было нечего, пришлось привыкать и к неотесанному начальнику конвоя, и к ссылке в Заполярье, грязи, деревянным ложкам и оловянным стаканам вместо золотых и серебряных.
Испытания, выпавшие на долю опальных, не сплотили, а, наоборот, поссорили многочисленную семью Долгоруких (кроме Ивана в ссылку отправились родители его — князь Алексей и княжна Прасковья, «порушенная» царская невеста и сестра Ивана княжна Екатерина, другие родственники).
Жизнь в заполярном Березове и для вольных людей была тяжелой: тьма, холод, убогая, тесная общая казарма внутри острога. Любопытно, что из описи вещей Долгоруких видно: все они захватили с собой множество старинного покроя платьев для облачения в домашней обстановке. На людях Долгорукие ходили в париках, камзолах, робронах, а дома, вдали от посторонних глаз, — в мягких, удобных дедовских нарядах.
И только княжна Екатерина привезла с собой огромное количество платьев, сшитых для нее ко дню свадьбы. (Уже много лет спустя после возвращения из ссылки, в 1745 году, она вышла замуж за Я. Брюса, но вскоре после свадьбы умерла. Перед смертью она собрала силы и сожгла все свои платья — чтобы никому не достались!) Долгорукие так часто ссорились и даже дрались, что охранникам приходилось их успокаивать и разнимать.
