Tsaplin.RuVDS

Если за последние два месяца у вас падал российский VDS-хостинг, то, вероятнее всего, это не потому, что горел чей-то ЦОД на Ближнем Востоке. Там наших не хотят. Наши земляки в этом плане — голландцы, очень много хостингов переехало к ним.

За последние два месяца на индустрию высыпалось очень много неприятностей. Из голландского ЦОДа кто-то атаковал правительственные сервисы ЕС, и там сделали массовое изъятие примерно 800 серверов, как бы у нас сказали, почти по беспределу. Но, поскольку это Европа, — в соответствии с духом просвещённой демократии. Сам дата-центр, когда узнал, что произошло, утрируя, поспешно разорвал контракты с оставшимися русскими, теми, кто знаком с Россией, с ней работает или вообще что-то про неё слышал.

А второй ЦОД, где любили вставать хостинги, поплавился от жары. На самом деле это не совсем так, но на жару очень удобно списывать. Кто ж знал, что лето настанет!

У нас, RUVDS, в Голландии ЦОД чуть получше уровнем, он там почти TIER-4, но без сертификата Facility, и там с охлаждением и внутренними органами как-то чуть поприличнее. Вообще у нас 23 площадки по миру от Владивостока до Швейцарии. Мы было успели обрадоваться, что одну из этих 23 площадок не задело. Но тут же случилось изъятие уже наших серверов в Казани.

Приехали в дата-центр типа на осмотр и выгребли всё подчистую — копали под одного клиента. И очень интересно грузили и возили. Но мы об этом узнали не сразу. В общем, там тоже феерическая история, сейчас расскажу.

И да, я тот человек, который считал, что 2023-й был тяжёлым годом. Но теперь есть с чем сравнить!

Зачем я это пишу

Во-первых, я считаю себя обязанным всё же рассказать сообществу, что случилось и как это выглядит изнутри. Мы когда-то давно обещали так делать, и поэтому рассказываем и подробно разбираем крупные инциденты, которые нас касаются, — даже если это играет нам тактически в минус. Потому что мы так часто рассказываем про происходящее с индустрией, что может сложиться впечатление, что там адский ад. Да, там адский ад, просто он распределён по всем площадкам по миру, и раз в год-два на каждой что-то происходит.

Во-вторых, хочется показать реальную картину того, как сейчас работает вся отрасль в целом. Хочу показать, насколько эта инфраструктура хрупка и почему привычные схемы резервирования иногда дают сбой.

Начать стоит с того, что произошло в Нидерландах

Из-за санкций и ограничений очевидно, что далеко не все дата-центры сейчас работают с русскими. В итоге все русские компании, которые есть на рынке и предоставляют зарубежные локации, оказались сконцентрированы у одних и тех же партнёров. И когда там начались проблемы, это ударило веером почти по всем — пострадало, по сути, 90% всех хостингов в Амстердаме, работающих с российскими клиентами. Хостеров тут по факту жёстко подвели дата-центры.

Сначала по европейским дата-центрам ударила аномальная жара под 40 градусов. Европейские ЦОДы исторически проектировались под пиковые температуры около +32 °C. В итоге в дата-центре Qupra, который обслуживает зону ams-1, банально не справилась система охлаждения. Один за другим начали выходить из строя промышленные чиллеры.

Но! Они могли знать, что так будет. Этот дата-центр штормило не только в мае — июне, у некоторых ещё в январе уже был из-за этого серьёзный даунтайм. По некоторым не очень точным слухам, системы охлаждения Qupra не справлялись не первый раз, они и так работали в номинал или за расчётными мощностями, а жара их добила.

Чтобы серверы не сгорели, стойки начали автоматически отключаться. Это растянулось на два месяца, но кульминация пришлась на конец июня. Подрядчики ЦОДа действовали крайне медленно, им не хватало силовых кабелей и профильных специалистов даже для подключения внешних мобильных охладителей. Сильнее всего там пострадал российский хостинг-провайдер, который как раз в мае перевёз туда своё оборудование из другого закрывающегося ЦОДа. По их же собственным данным, суммарный даунтайм клиентских машин составил не менее 70 часов, а в некоторых случаях продолжается до сих пор (на момент написания данной статьи).

Плюс ещё в начале мая был сильный пожар в дата-центре NorthC в Алмере, где выгорела часть силовой и технической зоны, из-за чего в офлайн на несколько часов ушёл IBM Cloud.

18 мая нидерландская полиция и фискальная служба FIOD провели жёсткие рейды сразу по пяти адресам, включая ЦОДы в Дронтене и бизнес-парке Схипхол-Рейк. Причиной стало расследование обхода санкций ЕС, наложенных ещё в 2025 году на владельцев PQ.Hosting. Следователи посчитали, что подсанкционная инфраструктура просто переехала на свежее голландское юрлицо WorkTitans (бренд THE.Hosting), а аплинк им давал MIRhosting.

В рамках этого уголовного дела правоохранители просто приехали и физически изъяли около 800 серверов (!) — и арестовали двух человек. Это затронуло огромное количество компаний в России. В смысле, изъятие, а не аресты.

Упрощая, остальные серверы, которые не забрали, просто отключили.

2 июня владельцы дата-центра nLighten испугались юридических рисков и просто в одностороннем порядке, без единого предупреждения, полностью обесточили всё их оборудование, чтобы минимизировать свои риски после рейдов. Так как MIRhosting был оптовым поставщиком мощностей, сработал эффект домино. В один момент легли и крупные российские хостинг-провайдеры, и куча мелких хостеров, кто там хостился.

А хостился там много кто, возможно, потому что Нидерланды — одна из ведущих стран по русскоязычному трафику. Особенно по ютуб-трафику. Ну или эти два факта никак не связаны.

В общей сложности отключилось не менее 15 тысяч сайтов. И бэкапы у них были внутрь площадки, то есть географически там же, и даже в тех же стойках. Люди просто потеряли всё без возможности восстановления в моменте. Не все вышли в аптайм — некоторые ищут, куда переехать, некоторые пытаются восстановить железо.

Казань

Как начался инцидент с нашим оборудованием в Казани.

Всё началось в четверг, 11 июня, утром. У нас резко пропал аптайм на части казанского оборудования. Первая мысль — дурацкая неполадка сети. Мы начали связываться с оператором. Оператор говорит: «Связываюсь с ЦОДом, ну, типа, там техработы».

Мы подумали, что там техработы. На самом деле там сидела большая опергруппа, которая запретила связываться со внешним миром до окончания мероприятий по выемке данных.

В рамках ОРМ они установили, что интересующие их данные находятся по адресу дата-центра в Казани. Более точно понять, на каком именно сервере, они не могли и не пытались. В итоге забрали всё. Это вообще очень логично, такие попытки случаются раз в год-два примерно, но каждый раз удаётся объяснить автоматчикам, что происходит, и выдать один снапшот виртуальной машины. Дальше они изымают флешку с ней и уходят пытаться её расшифровать, потому что злоумышленники редко когда что-то хранят в открытую.

Так вот. В этот раз мы не понимали, что происходит, потому что нам всё это рассказали уже, когда всё изъятие по факту произошло. В гермозоне — оперативно-разыскные мероприятия. Дело там было очень серьёзное, даже не по линии полиции. И это всё из-за одного-единственного клиента, который держал у нас какой-то VPN-сервер.

Мы не могли даже увидеть постановление, потому что допуск требовал личного вручения, а мы были не в Казани. Пришлось ехать.

Если что, обид никаких. Точнее, как — общий осадок остался, но все по отдельности в этой цепочке правильно сработали в меру своего понимания. Правоохранители нашли злоумышленника, поставили задачу оперативной группе, группа очень грамотно заехала в здание и не менее грамотно провела мероприятия. Естественно, в группе там специалисты по погоне за отстреливающимися людьми и выпрыгивающими в окна директорами, поэтому выполнили задачу ровно так, как поставили. Профессионализм действий можно оценить по тому, что реально, пока они были на объекте, никто ничего никому не сказал про то, что происходит. Чтобы сохранить тайну следственных действий. Это без шуток очень круто.

Если бы нам сказали об изъятии прямо в процессе, мы бы, возможно, смогли их остановить, объяснив, что, грубо говоря, «это не те дроиды, которые вам нужны» — им нужны были виртуалки и логи, а не физические серверы!

По-хорошему, есть же каналы взаимодействия, мы регулярно реагируем на запросы органов. Но, повторюсь, когда дело серьёзное, почему-то в крупных расследованиях они действуют наверняка и стараются изъять физическое оборудование.

Вероятно, этот клиент накосячил очень сильно.

Здесь я хочу подчеркнуть ключевую деталь того, как мы выстраиваем работу с клиентами. Как только мы выяснили, кто, как и почему всё забрал, мы не стали юлить, а сразу написали в телеграм-канал, где наши клиенты. Врать клиентам в такой ситуации — самое глупое, что может быть. Мы моментально выпустили уведомление, что серверы физически изъяты силовыми структурами. Практически во всех кризисах намного лучше сразу открыто признавать проблему, а не пытаться её спрятать. Но в моменте всегда хочется закрыть глаза и под одеялку. Поэтому важно заранее решить, как действовать. Вот мы заранее решили, что мы открытые.

Мы не знали горизонт возвращения серверов (в целом вообще не думали, что в какой-то разумный срок вернём), поэтому сразу запустили процесс экстренной закупки аналогичного объёма оборудования для казанского ЦОДа. Понятно, что у нас такого объёма просто лежащего без дела нет, а закупка — процесс длительный. Но мы готовились к худшему: полностью заместить утраченное железо, если оно намертво превратится в вещдоки. А такой риск всегда есть, тогда бы до конца судов его не отдали бы.

В четверг серверы увезли, и до понедельника мы не могли достучаться до руководителей отделов силовых структур из-за выходных. В понедельник с утра наш старший технический специалист и мой коллега приехали в Казань.

Удалось обсудить вопрос. Тут взаимодействие было достаточно приятным — ну, насколько это вообще возможно в этой ситуации. В смысле, они пошли нам навстречу, сделали тут же официальный запрос, мы помогли выгрузить виртуальную машину и данные по клиенту, они довольно быстро отдали оборудование. Одно дело — забирать серверы подозреваемого, другое — серверы хостинга. Случилось некоторое непонимание, но в понедельник оно почти всё разрешилось. Мы со своей стороны оказали им полное содействие, и они это признали.

Я знаю случаи, когда в таких ситуациях оно застревало надолго в архиве вещдоков.

Два сервера не запустились

Сотрудники органов искренне уверяли нас, что перевозили серверы с максимальной аккуратностью, якобы буквально сдувая с них пылинки. Но мы-то точно знаем, что в ЦОДе их никто с кнопки штатно не выключал — просто выдернули из розеток. И оборудование перенесло 3 транспортировки: сначала в четверг куда-то, неизвестно куда, а потом в понедельник в то место, где наши ребята должны были помогать им с данными (везли аккуратно, но на обычной «Газели»). Визуально железки выглядели целыми. Сколов и крупных царапин не добавилось.

Тут могла сыграть как перевозка, так и просто само включение-выключение. Железо, которое годами работает в стойке, не переносит таких приключений. При физической вибрации и тряске банально отходят контакты. У нас даже была ситуация, когда мы внутри одного ЦОДа аккуратно перевозили оборудование из стойки в стойку, и четыре сервера не включились. По-хорошему, после каждого перемещения сервера нужно полностью редеплоить ноду: сносить операционку и накатывать всё заново.

Главная беда была с SSD-дисками, собранными в RAID-массивы. У нас везде используются качественные комплектующие Huawei, мы всё гарантируем и меняем, но физику не обманешь. Когда ты резко выдёргиваешь шнур питания, RAID-контроллер, работающий с файловой системой, теряет информацию о структуре дисков. Батарейка на контроллере у серверов старше одного года часто недостаточна для записи остаточных транзакций (точнее, там уровень типа 95% надёжности), поэтому всегда все используют внешние ИБП. Но серверы при отключении выдёргивали именно из них.

При следующем запуске система может не подцепить старый массив дисков и выдаёт ошибку о критическом повреждении файловой системы либо уходит в цикличную перезагрузку.

У нас в одном сервере так полностью повредился диск и потерялась загрузочная запись. К счастью, ребилд и удалённое шаманство админов помогли, избыточность там достаточная.

А вот второй оказался куда сложнее. Мы были страшно стеснены во времени, клиенты буквально обрывали нам поддержку. Мы до последнего пытались завести мёртвый сервер, уже даже было принято решение упаковывать его и везти с собой в Москву. В самый последний момент наш старший админ с настоящими танцами с бубнами смог достучаться до него через IBMC. Появилась небольшая робкая надежда, но мы понимали, что люди не ждут.

Поэтому, когда даунтайм стал большим, мы решили не пытаться его реанимировать, а накатить бэкапы на другие машины. И начали разворачивать клиентов там. Конечно, это затянуло время восстановления доступности для некоторых клиентов, но зато в итоге они гарантированно получили доступные серверы.

Сам пострадавший сервер мы отправили на глубокую диагностику.

Клиенты, конечно, писали в чатах в духе: «Вот, оборудование-то вернули, почему оно не включено?!» Ну вот примерно так. И я думаю, их возмущение понятно: они платят деньги, у них несколько дней даунтайма (с четверга, когда оборудование изъяли), а тут ещё мы говорим, что раскатить всё заново из бэкапов можно, но надо ещё чуть-чуть подождать.

Итоговый простой составил около пяти дней (с утра четверга до вечера понедельника). У нас есть х5 компенсация по SLA из-за наших проблем и нашей зоны ответственности. Увы, тут форс-мажор, действия силовых структур такого типа — это не наша зона ответственности. У нас в команде даже была дискуссия на этот счёт. По оферте, если пропадает связь от провайдера, мы тоже можем не компенсировать, хотя обычно всегда идём навстречу практически во всём. Но тут причина падения принципиально другая. Чистейший, стопроцентный форс-мажор, который мы никак не могли гарантировать или предотвратить. В итоге компенсировали простой х1.

Мы работаем на рынке больше 20 лет. Все эти годы к нам постоянно приходят во время оперативно-разыскных мероприятий, пытаются забрать оборудование. Всё время получалось защитить оборудование, а тут вот не получилось.

И теперь в комментариях под статьями нам пишут: «Ничего себе, я работаю с сервером, там задержка… О, а у вас там в Краснодаре тоже забрали серверы?» Нам, конечно, не очень смешно от этого.

И до кучи DDoS!

Били по клиенту. Били сильно. Мощность атаки была такова, что у нас наглухо зависли сетевые коммутаторы и все виртуальные свитчи.

Стратегия таких атак строится на том, что сервер коммутируется между физическим портом и виртуальными свитчами. Виртуальные свитчи ложатся, начинают сильно переполнять стек машины. В итоге процессор уходит в 100% загрузку, вся эта машина полностью зависает и перестаёт реагировать на любые команды. Её нельзя перезагрузить программно, она уже не откликнется — помогает только хард-ребут по питанию.

А при хард-ребуте по питанию массивы RAID… Но вы уже помните, да?

Самая большая проблема с такими масштабными DDoS-атаками — это невозможность понять, кого именно бьют и откуда. Если бы доступ был, можно было бы сразу отправить IP-адрес жертвы в блэкхоул. Но нет.

У нас есть несколько слоёв защиты от DDoS, но бесплатные направлены больше на то, чтобы с нашей инфраструктуры не проходила атака на нашу же инфраструктуру или наружу. А вот проконтролировать внешний трафик можно только через центры очистки с очень широкими каналами (шире суммарного канала DDoS). Такая услуга усиленной защиты у нас тоже есть, но там стоимость около 150 тысяч рублей в сутки без НДС — очевидно, это для корпоративных клиентов по запросу, и клиент её брать и не планировал.

DDoS сам по себе тоже дорог, поэтому любая атака имеет свой период, в конце которого она рано или поздно прекратится. Но пережить это — тот ещё фокус.

Самое сложное — найти клиента, которого атакуют. Потому что пролезть на сервер за телеметрией тоже никак не выйдет при 100% загрузке процессоров и сети. Поэтому нам пришлось применять единственное рабочее в таких условиях, проверенное прикладное решение, которым пользуются вообще все хостеры в таких ситуациях. Надёжное, как швейцарские часы. Мы временно отключаем всех клиентов от виртуального свитча, а затем начинаем постепенно, по одному, восстанавливать подключения. Сначала включаем VIP-клиентов и юрлиц с известной историей авторизаций и большим количеством ответственных. И так, ранжируя по признаку доверия, перебираем всех, пока не наткнёмся на того, на кого реально идут атаки. Это долгий и болезненный процесс.

И самое страшное при DDoS-ах — это последствия. Серверы не находятся в 100% даунтайме, они периодически включаются-выключаются (какие-то клиенты даже в это время работают), но бесконечные циклы ребутов убивают массивы. Самое страшное — потом поднимать вот эти все ноды.

И общий фон

Добавлю пару слов о железе.

Дефицит оперативной памяти, комплектующих и рост цен никуда не делись, ценник продолжает расти дальше.

Розничные цены в магазинах за май — июль подросли где-то на 1—5% в месяц, но это обманчивая цифра. Импорт-прайс уровень всегда реагирует с задержкой из-за длинных дилерских контрактов (зимой розница начала расти и сейчас уже достигла пика, хотя 5% в месяц — это тоже прилично). А вот оптовая контрактная цена для заводов за второй квартал (апрель — июнь) взлетела на 70-85%. Сейчас, при текущих заказах, мы уже видим полный эффект этого подорожания.

С сентября прошлого года оборудование подорожало где-то в два раза: оперативная память за второй квартал подорожала суммарно на 90%, а SSD-накопители — на 75%. И аналитики спешат обрадовать, прогнозируя, что в третьем квартале (в июле — сентябре) цены могут вырасти ещё на 40—50%.

Что я могу в этой ситуации посоветовать?

Во-первых, расслабиться и получать удовольствие. Мне советовали потрогать траву и попить чай. Не знаю, нормальный ли это совет.

Во-вторых, не выбирайте bulletproof-хостинги, которые не отвечают на абузы и не оказывают взаимодействие на запросы правоохранительных органов. Потому что, если 100 раз отбиться по мелочи, потом прилетит по-крупному. У нас железо вернули, как разобрались в ситуации. У тех в Нидерландах, у кого изъяли 800 серверов, никто ничего не вернул и, очень вероятно, уже не вернёт.

Во-третьих, если у вас критически важный проект и суперсерьёзные данные — многократная репликация данных и диверсификация по локациям. Понятно, что это дороже, но, если у вас задача, чтобы всё время работало, нужно хранить резервные копии в совершенно разных ЦОДах. Это основа ведения ИТ-бизнеса.

От форс-мажоров не застрахован никто, ни в одной юрисдикции.

Всё, теперь готов ответить на ваши вопросы, но сразу говорю — по Казани там дело с грифом, поэтому деталей именно правонарушения и нашего взаимодействия с органами не будет.

У нас тоже есть тариф с HDD-хранилищем, но он довольно давно тариф с HDD-содержащим хранилищем, потому что уже пять-шесть лет (в зависимости от страны) мы закупаем SSD вместо HDD. Совсем скоро последние хрустящие диски уйдут из эксплуатации, и это будет тариф типа SSD с ограничением по скорости для совместимости с легаси-ценами.

С другой стороны, много у кого написано «Медленные SSD», а по факту при тестах они начинают показывать характерные скорости HDD, характерные бутылочные горлышки HDD и вообще ведут себя как жёсткие диски.

При этом мы используем HDD для долговременного хранения.

Основная проблема HDD — это механика

Внутри идут вращение шпинделя, позиционирование головки, трение. Из-за этого количество операций ввода-вывода IOPS физически ограничено.

• HDD выдаёт около 150–200 IOPS. Задержка — миллисекунды.

• SSD (SATA/SAS) — десятки тысяч IOPS.

• SSD NVMe — сотни тысяч IOPS.

Разница — на порядки. В условиях хостинга, когда дисковый массив — это коммунальная квартира, которую делят сотни клиентов, это критично. Если кто-то один впилится в жёсткий диск записью огромного количества фрагментов меньше кластера и в случайные места на карте диска, то остальные будут стоять в очереди и ждать.

Поэтому, даже если вы просто хотите, чтобы ваши клиенты не испытывали тормозов на скоростях обычного HDD и на тарифе с обычным HDD, надо брать SSD.

Изменился сам веб. Если раньше мы на низком уровне по факту работали с крупными файлами и нагрузка ложилась на оперативку, то сейчас из-за Докера и k8s нагрузка стала дробной. Плюс очень многое стало возможным перераспределять на диски, зная, что они потенциально быстрые. Контейнеры, слои образов, логи микросервисов генерируют огромное количество мелких операций random I/O. Запускать кубера на механическом диске — технически плохая идея: диск просто не справится с очередью запросов, и iowait съест производительность процессора, даже если канал свободен.

Что можно сделать

HDD можно соединять в быстрые RAID (с дублированием). ОК, мы давно так делаем, ограничения — те же, просто чуть расширяются.

Есть устройства класса SSD+HDD или оперативка + HDD, где контроллер выступает кэшем. Условно у вас есть 10 Тб-накопитель, у которого 10 Гб — это кэш контроллера (либо 1 Тб — быстрый SSD, а остальное — хард, бывают разные вариации). Если вы пишете, скажем, 5 Гб — их хватает контроллер, записывает в быструю память и потом постепенно распихивает по медленной. Если нагрузки неравномерные, как на десктопе, то всё прекрасно, со стороны это быстрый на запись диск и как-повезёт-на-чтение диск (попали в кэш или нет). То есть он как бы сам внутри себя делит данные на «горячие» и «холодные».

Вариантов там много, но мы такого не используем. Во-первых, они не предназначены для нормальных энтерпрайз-применений, когда запись-чтение может идти постоянно 24 часа в сутки и в разные места: в этой ситуации кэш быстро прокручивается, и вы работаете с HDD почти напрямую. Во-вторых, они создают дополнительные точки отказа, например, очень сложно объединяются в RAID. Рассинхрон кэша и основного диска может привести к полной потере данных. Отказ SSD-кэша делает недоступным весь массив. В-третьих, это зоопарк. А зоопарк мы очень не любим.

В итоге мы оставляем только SSD и NVMe

На самом деле у нас наш тариф HDD — постепенная миграция с HDD на SATA SSD. Мы искусственно режем скорость и IOPS до уровня хорошего жёсткого диска.

Почему так:

1. Нам проще и надёжнее обслуживать парк SSD (нет движущихся частей, ниже риск внезапного отказа), чем поддерживать зоопарк из разных типов накопителей. Исторически мы очень сильно стремимся к гомогенности железа, потому что это очень сильно облегчает и разработку, и ремонт-обслуживание, и логистику, и закупки, и вообще всё в хостинге.

2. Если мы переведём всех на быстрый SSD, то нам придётся поднять цены, и тогда клиенты уйдут. На рынке есть умолчание, что есть дешёвый дисковый тариф, но его как раз ограничивают, чтобы он не конкурировал с дорогими. Это искусственное ограничение из-за того, что все так делают. Вероятно, в ближайшие годы оно уйдёт.

3. Есть привычки клиентов. Пользователь видит HDD и интуитивно считывает это как набор параметров + это дёшево и много места. Когда написано «SSD» — в голове вообще ничего не всплывает. Если тот же тариф назвать «Медленный SSD» или «Throttled SSD», то это вообще никак не поможет UX. HDD тут с годами стал просто красивой метафорой. Хотя на некоторых серверах они ещё остались.

А лента, лента для холодного хранения?

Удел HDD сейчас — долгое холодное хранение. Мы оставим пул HDD в хостинге как раз для этого. По большей части — для бекапов. Это бекапы, архивы логов, старый медиаконтент. Там, где нужно дёшево хранить терабайты и редко к ним обращаться, механика по-прежнему выигрывает по цене за гигабайт.

У нас сейчас есть услуга, где можно дёшево получить очень много места для архивов — это как раз массив классических механических HDD, на котором выделяется виртуальный ресурс.

Но в бекапах есть другая технология холодного хранения — старая добрая магнитная лента. Много кто действительно хранит на них — за этим, например, замечены Google или ЦЕРН.

В целом мы считали и решили, что та же причина зоопарка того не стоит: выигрыш на наших масштабах не очень большой. Всё же это решение — для специфических задач вроде научных данных (которые надо всё время копить на тот случай, если они пригодятся через 20 лет), банковских архивов с хранением 50 лет, видеоконтента и так далее.

В хостинге, если клиенту понадобился бекап, он нужен ему прямо сейчас. Никто не готов ждать час, пока робот не найдёт кассету и перемотает её на нужное место. Экономия на носителе не перекрывает потерь от времени простоя и сложности введения дополнительной железяки в обслуживание.

Поэтому там, где надо дешевле, у нас только HDD.

Но ведь HDD дают безлимитное хранилище!

Это просто дикая боль.

Приходят клиенты и говорят, что на рынке есть тарифы с безлимитным хранилищем.

Это, если что, физически невозможно. Ну, без потерь данных.

В физическом мире безлимитов не существует. Канал (скорость записи) имеет ёмкость, а диск имеет объём. На уровне гипервизора всегда стоят жёсткие лимиты, чтобы один активный клиент не положил сервер и не лишил ресурсов остальных соседей. Безлимит — это всегда маркетинг. Вам дадут пользоваться ресурсом в разумных рамках и пока вы не начнёте мешать другим.

HDD никаким образом не означает безлимит. Но да, часто само слово означает для клиента «бюджетное хранилище».

Итого

• Самые дорогие тарифы — NVMe-диски. Никто нормально не решил проблему объединения их в массивы с избыточностью, поэтому, если вылетает один такой диск, то теряются данные. Рядом с ними обычно стоят HDD для бекапов по расписанию, например, раз в сутки или итеративных раз в четыре часа.

• Обычные тарифы — SSD-массивы, мы перешли на RAID 10. Вот пост, почему мы так сделали. С них можно подключиться к хранилищу на HDD и получить там виртуальный диск, где физика будет на механических дисках.

• Дешёвые тарифы — те же SSD-массивы и иногда уже выводящиеся из эксплуатации HDD. В будущем — только SSD-массивы.

• Технические диски — образы операционок, промежуточные бекапы и так далее — иногда бывают классическими HDD.

• В Регарде — 410 тысяч рублей, дадут документы и гарантию. Летом 2025-го, всего полгода назад, эта же позиция стоила тут же около 90–100 тысяч рублей.

• Но её можно купить на сером рынке у барыг. Они иногда мимикрируют под приличные компании, у них безнал с НДС, но весь день цена плавает, как биржевая котировка. Утром тебе говорят: «330 тысяч». К обеду партия может исчезнуть. Или стоить уже 350.

• Есть совсем барыги с Горбушки и Савёлки — без документов и только наличными, получение планки — в подворотне. Цена вопроса — 250–280 тысяч рублей.

Но купить сложно. Продавец ведёт переговоры одновременно с десятком покупателей. Ты пишешь: «Возьму 20 штук». Он отвечает: «Есть 10». Пока ты едешь с деньгами, кто-то другой уже забрал пять. Никаких гарантий до момента передачи товара из рук в руки. Это не бизнес-процесс — это квест.

Давайте немного расскажу, что же случилось.

Для тех, кто всё пропустил, и как это увидели мы

Всё началось незаметно ещё в начале осени. Где-то в октябре наш поставщик железа по России написал, что хорошо бы зафиксировать объёмы поставок на следующий год. Мы не придали этому значения: обычно это часть переговоров. Он начал торопить, это уже немного раздражало, но всё ещё не выбивалось за ситуацию «с нами агрессивно торгуются». Потом он начал давить ещё сильнее, и мы спросили, почему он так волнуется.

Он объяснил, что за те четыре дня, пока мы переписывались от первого «Пацаны, определяйтесь быстрее уже там» до момента, когда мы спросили, а чего он такой нервный, цены выросли на 10%.

Нас это снова не особо побеспокоило, потому что тогда оперативка возилась через страны СНГ, и в Казахстане как раз были проблемы с логистикой: заторы на границах и так далее.

Мы списали это на волатильность курса и пробки. Казалось бы, обычная осенняя история.

Оказалось, что зря мы так подумали.

К декабрю ситуация превратилась в абсурд. Мы искали серверную память высокой плотности — DDR5, 128 ГБ, частота — 5600 или 6400.

Оказалось, что это не чисто российская проблема с логистикой и санкциями.

Вот данные TrendForce: цены на оперативную память выросли на 171% год к году. Обещают рост ещё на 90–95% в первом квартале 2026-го. Это крупнейший квартальный скачок за всю историю наблюдений: такого не было ни в 90-е, ни в кризис доткомов.

Источники данных:

TrendForce DRAM Market Report 2025–2026; PCPartPicker Price Trends (May–Dec 2025); IDC Worldwide Quarterly Server Tracker; Gartner Semiconductor Forecast; ComputerBase & Tom's Hardware analytical summaries (GPU Crisis 2017–2022).

Данные PCPartPicker (розница, май → декабрь 2025):

• DDR4-3200 16GB: рост с $50 до $120 (+140%).

• DDR5-6000 32GB: рост с $120 до $410 (+242%).

• DDR5-6000 64GB: рост с $210 до $750 (+257%).

В Японии, в Акихабаре, магазины Tsukumo и Sofmap ввели лимиты на продажу памяти в одни руки. В США сеть Micro Center просто убрала ценники с полок DDR5, предлагая уточнять цену у консультанта, — классический признак гиперинфляции. Ноутбуки Framework перестали продавать модули памяти отдельно, потому что к ним не покупали сами ноутбуки. На eBay перекупы накручивают 150–250%, и люди покупают, потому что больше негде. CyberPowerPC, крупный сборщик компьютеров, официально объявил о повышении цен на свои системы, сославшись на удорожание RAM на 500%.

У нас прямо классический барыжный флёр. Можно поехать на Горбушку с сумкой нала и по дороге узнать, что партия ушла. Пишут: «Пришло транзитом, сразу ушло, сейчас есть остатки, но дороже».

Можно выгрызать куски партий: тут 10 планок, тут ещё четыре, тут восемь. Все по разным ценам. Все прыгают. Больше партия — дороже планка.

Если есть возможность — можно вывезти из Дубая. Там память стоит на 30–40% дешевле (около 180 000 рублей в пересчёте за ту планку, что у нас стоит 250 000). Но там проблема с лимитами наличных — 10 тысяч. Это всего 10–15 планок. Разве что сразу автобусом админов ехать.

Ну и я знаю людей, кто ездил в Минск, где процентов на 10 дешевле. Один по дороге тоже узнал, что партии уже нет. Для барыг сейчас важно продать в первые руки, никаких долговременных договоров нет.

DDR4 стала дороже DDR5

А потом случилось самое смешное — инверсия поколений. В смысле, что предыдущее поколение железа стало дороже текущего. Такого в нормальной экономике вообще быть не должно.

Это потому, что ChangXin Memory Technologies переключилась на дефицитную DDR5. Дешёвая память исчезла моментально. А у огромного количества компаний серверный парк построен с DDR4. Раньше можно было просто докупить память и продлить жизнь сервера на пару лет. Теперь дешевле (условно) выкинуть старый сервер и купить новый на DDR5, но и новый стоит космос.

Тут же ожил вторичный рынок: из старых серверов выдирают память DDR4 и продают её отдельно, потому что внезапно она стала золотым активом.

И, прикиньте, подорожала даже б/у DDR3. Даже до неё дошло дело!

Но почему?

1. AI выгребает всё. OpenAI подписала соглашение с Samsung и SK Hynix (проект Stargate) на выкуп 900 000 пластин DRAM в месяц. Это, на секундочку, около 40% всего мирового производства DRAM на текущий момент. Два клиента забирают почти половину мирового запаса.

2. Для видеокарт NVIDIA (H100, H200, Blackwell) нужна специальная память — High Bandwidth Memory. Она сложнее в производстве. Каждый бит HBM требует в три-четыре раза больше места на кремниевой пластине, чем обычная DDR5. При этом выход годных чипов у HBM низкий — около 50–60%. Чтобы произвести одну планку HBM, заводу нужно пожертвовать производством десятка планок обычной памяти. Маржа на HBM выше, поэтому Samsung, SK Hynix и Micron массово перепрофилируют линии. Обычная память им просто неинтересна. Доля HBM уже съела ~30% всех производственных мощностей.

3. Глядя на эту историю, производители, похоже, решили доформировать дефицит. А что? Это же легко, можно ещё разогнать цены. Samsung перешла на ежемесячное ценообразование. Это сигнал рынку: «Мы не знаем, что будет завтра, но точно будет дороже». Micron 3 декабря 2025 года объявила о выходе из потребительского бизнеса, а ведь она контролировала ~20% рынка.

4. Ещё есть история в США. Анонсированные тарифы в 25 и 100% на импортные чипы (привет, администрация Трампа!) стали добивающей новостью. Сборщики серверов (Dell, HP, Supermicro) начали скупать всё, что есть на складах, чтобы успеть до введения пошлин.

5. Если вам мало — есть ещё и Тайвань. А Тайвань трясёт: три землетрясения за полтора года (апрель 2024, январь 2025, декабрь 2025). Каждое событие — это остановка линий. Потери TSMC от одного толчка оценивались в $92 млн. Micron теряла 4–6% квартальных поставок. Кварцевые трубы в печах лопаются, калибровка сбивается, производство падает.

А ещё Samsung и SK Hynix скоординированно сократили производство NAND более чем на 10%, чтобы удержать цены. В итоге NVMe-диски подорожали кратно вслед за оперативкой.

Я это уже наблюдал на видеокартах

Те, кто пытался собрать игровой компьютер или ферму в 2017-м или 2021-м, сейчас испытывают мощнейшее дежавю. Я вот испытываю. Думаю, что ситуация с оперативкой — это прямо то же самое.

Первая волна была в 2017–2018 годах. Биткоин впервые пробил 19 тысяч долларов. Видеокарты AMD RX 580 продавались в три раза дороже стартовой цены. Точнее, не продавались, потому что просто пропали из магазинов. Nvidia тогда пыталась лимитировать продажи ограничением «две в руки», как сейчас японцы лимитируют оперативку.

Вторая волна пришла в 2020–2021 годах. Сошлось всё: ковид, сидение дома, дефицит чипов и взлёт Ethereum. В апреле — мае 2021-го цены дошли до 329% роста на RTX 3080, 230% — на RTX 3060 Ti.

Использовались боты, чтобы выкупать партии за секунды. Сейчас барыги с Савёловского делают то же самое с серверной памятью: выкупают любые стоки, чтобы продать страждущим за нал с наценкой в 50%.

Рынок видеокарт вылечился только после перехода Ethereum на Proof of Stake 15 сентября 2022 года. Майнинг на видеокартах умер в один день. Плюс там же были падения криптобирж FTX и экосистемы Terra/Luna.

Цены упали до изначальных (с учётом инфляции). Правда, не сразу: это длилось восемь-девять месяцев. На вторичный рынок пошли ужаренные карты из майнинг-ферм. В Китае их продавали на вес.

У нас было несколько GPU-серверов для архитекторов и других графических нагрузок. Мы знали, что наши карты, купленные за 60 тысяч, на Авито стоили 20–30 тысяч.

Что будет с оперативкой?

Стоит ли ждать, что пузырь лопнет и цены вернутся к комфортным значениям лета 2025 года?

Нет.

У кризиса оперативной памяти нет события, которое его остановит. AI вроде не собирается прекращать обучаться или останавливать инференс.

Чтобы цены рухнули, должен лопнуть пузырь искусственного интеллекта. Многие говорят, что AI — это хайп, и скоро инвесторы разочаруются. Признаки этого есть. Инвесторы начинают задавать неудобные вопросы, а вместо прибыли им показывают красивые видео и то, как ChatGPT пишет стишки. Экономический эффект от внедрения ИИ пока несопоставим с затратами на железо.

Дальше либо это изменится, либо наступит «зима AI». Но даже если она наступит, то инерция всё равно будет огромной. OpenAI, Google, Microsoft и другие запрещённые в России организации уже оплатили квоты на производство чипов на годы вперёд. Там контракты, которые нельзя взять и просто прекратить. Видеокарты были нужны только майнерам и геймерам, а память нужна всем. Если отвалится AI, то останется дефицит в других сегментах.

Новые фабрики Samsung P4 и SK Hynix M15X начнут масштабный промышленный выпуск не раньше 2028 года. До этого времени физического увеличения объёмов ждать особо не стоит.

Gartner прогнозирует рост цен на DRAM в 2026 году ещё на 47%. Counterpoint прогнозирует: серверные модули 64GB DDR5 RDIMM могут удвоиться в цене к концу 2026 года. SK Hynix прямо заявляет: все мощности на 2026 год «фактически распроданы».

Представитель Kingston Кэмерон Крэндалл высказался предельно честно:

«Если планируете апгрейд, то делайте это сейчас. Через 30 дней будет дороже, и ещё через 30 дней тоже».

Что делаем мы тут, в России

Теперь — о том, как мы принимаем решения про закупку железа.

Если что, мы не торопимся и закупаем по обычному графику.

Допустим, вы оптимист. Вы верите, что рынок перегрет и вот-вот скорректируется на 30–40%. Здесь есть валютный риск. Сейчас рубль держится в коридоре условно 70–90 за доллар.

Если через полгода мировые цены на память упадут на 40%, а рубль ослабнет к доллару на те же 40% (что вполне реально при возобновлении активного импорта или изменении сальдо торгового баланса) — смысла дёргаться нет.

Можно получить и суперкомбо: дорогой доллар + дорогая память.

Мы находимся в ситуации, когда плохих решений много.

Если мы сейчас остановимся в закупках железа, то проиграем долю рынка. В смысле клиентов не потеряем, но рынок растёт, и не расти вместе с ним — терять долю. А наша конечная задача — захватить мир, а не сэкономить.

Если закупаться на всё — можно знатно рискнуть, и это тоже не вариант.

Превращаться в «дойную корову» — выжимать из старого железа всё до последней капли, пока оно не умрёт — тоже путь к банкротству. Железо быстро станет медленным для клиентов, дороже в обслуживании, накопит проблемы, клиенты уйдут, а восстановиться будет нечем. В хостинге и облаках долю рынка вернуть почти невозможно. Клиент, ушедший на чужие мощности, редко возвращается обратно.

Удорожание сервера на 30% удлиняет его окупаемость на те же 30–40%. Единственный способ сохранить рентабельность — переложить эти расходы на клиента. Рынок растёт, спрос на вычислительные мощности (даже без учёта AI) огромный. У нас в России давно (с 2022 года) дефицит стоек в ЦОДах: сервер физически некуда поставить.

То есть можно или поднять цены клиентам, или потерпеть и работать с меньшей маржинальностью. И, наверное, мы выберем и то и другое.

Это то, что чаще всего вылетает в сервере, и то, что дублировано, то есть сервак продолжает работать с деградацией производительности. Также дублированы питание и много чего ещё, но питание можно менять и не так быстро.

У нас в каждом дата-центре по миру — корпоративное железо. У него гарантия — Next Business Day от поставщика или производителя. Это значит, что если что-то ломается, то в течение следующего рабочего дня привозят замену. Но для жёсткого диска это долго: да, все массивы — RAID 10, но надо менять диск сразу, а не ждать сутки.

Если сервер падает в пятницу вечером, то следующий рабочий день наступает только во вторник (пока заявка, пока логистика). Для критической инфраструктуры ждать три-четыре дня просто непозволительно.

ЗИП — это железо, которое просто простаивает. И вот тут включается ещё одна важная особенность и тарифов, и политики выбора железа: оно должно быть гомогенным. Если у нас в стойках — зоопарк, то и компонентов надо держать больше. Мы стараемся закупать одинаковые платформы большими партиями. В качестве бонуса — не только цена и одинаковый софт (а это дальше влияет и на тарифы), но и один комплект ЗИП.

Замену делает синее тело — аватар, которому это поручается. Специфика иностранных площадок в том, что наших инженеров там физически нет. Мы полагаемся на услугу «Удалённые руки». Это не когда нет ручек и нет мультиков, а когда местные инженеры дата-центра ходят к стойкам по нашим тикетам: нажимают кнопки, меняют диски и коммутируют провода.

Эта система стабильна, но не без сюрпризов.

Ситуация на рынке сейчас сложная: спрос на зарубежные мощности огромный, а логистика из Китая и Европы хромает. Партии оборудования, которые раньше ехали месяц, теперь могут добираться полгода. В Амстердаме у нас полный sold out: свободных серверов нет, ждём поставку только после Нового года. И именно в этот момент на одной из платформ Хуавея умирает сервер.

Само по себе это событие — из ряда вон. Обычно электроника либо сразу ломается (заводской брак), либо работает годами. Этот сервер отпахал почти год, гарантия уже подходила к концу. Сначала мы грешили на привычные вещи: может, RAID-контроллер сбоит? Может, процесс завис?

Но диагностика показала, что проблема — в материнской плате.

Почему это страшно? Потому что материнская плата — это, по сути, и есть сервер. Это шасси, к которому прикручена плата. Держать в ЗИПе запасные материнки — значит, иметь на складе пустые дорогостоящие серверы, которые просто пылятся. Обычно в ЗИПе лежат диски (они часто летят), блоки питания (бывает), даже контроллеры. Оперативку держать почти нет смысла: если планка сгорела, то сервер просто увидит меньше памяти, но продолжит работать. А вот материнка... За 10 лет работы мы ни разу не видели, чтобы качественная серверная мать умирала своей смертью посреди срока эксплуатации.

Но она умерла. И выяснилось, что в нашем ЗИПе её нет (что логично), но её нет даже у самого Хуавея на местных складах в Европе!

Такую крупную запчасть вендор пообещал доставить только через неделю плюс время на авиадоставку.

Теперь — как вообще всё это происходило. Тут есть вторая особенность — медленная поддержка. Это менталитет Европы. Пример: сервер упал в субботу вечером — по телеметрии просто выключился. Мы пишем тикет местным, чтобы сходили и нажали на питание. Инженер идёт целый час, нажимает. Появляется ошибка по питанию, но физически на блоках питания горят зелёные лампочки. Мы просим поменять блоки местами, потом попробовать запуститься на одном блоке (сервер умеет работать на одном, второй — резервный).

Инженер делает это крайне медленно, весь рабочий день, часами переписываясь с нами.

Меняется текст ошибки: теперь система жалуется на процессор. Конкретно — на один сокет.
Это странно: процессоры почти бессмертны. Чтобы камень сгорел сам по себе — это как самолёт, летящий на одном двигателе: вероятность близка к нулю. Мы просим инженера: «Поменяйте процессоры местами. Если ошибка перейдёт на другой сокет — значит, дело в процессоре. Если останется — дело в материнке». И тут местная служба поддержки встаёт в позу: «Нет. Это технически сложная работа. Нам запрещено залезать внутрь оборудования клиента и трогать процессоры».

Пришлось вызывать инженера от нашего оператора связи (это другой человек, не сотрудник самого ЦОДа). Он приехал специально ради нас. Переставил процессоры, проверил каждый камень в каждом сокете, проверил даже термопасту. Вердикт: ошибка никуда не уходит, видеосигнала нет. Материнская плата считает, что сокет не работает, хотя процессор жив. Это на 99,9% — смерть материнки.

Отдельная история — это счета. Изначально сотрудники дата-центра попытались выставить нам счёт за шесть часов работы Remote Hands. Я едва сдержался от мата: «Как вы могли шесть часов нажимать на кнопку и перетыкать блоки питания?!» После скандала время сократили до двух часов, что тоже много, но уже не так нагло.

Мы попросили того самого инженера вытащить из сгоревшего сервера диски (в частности, с бэкапами) и физически воткнуть их в соседний живой сервер. Клиентам объяснили, что происходит, и предложили варианты:
— Развернуться из бэкапов на том, что есть (места мало, всех не вместим).
— Переехать в другой дата-центр.
— Получить компенсацию (в пятикратном размере от времени простоя по SLA).

Негатива не было вообще. Обычно в таких случаях клиентов прорывает, и их можно понять. Но тут были полная тишина и понимание. Большинство мы восстановили на соседних узлах. А часть клиентов сказала: «Ничего страшного, у нас там не критичные сервисы, неделю мы подождём, пока не приедет запчасть. Главное — не берите за это время денег». Мы, конечно, не только ничего с них не взяли, но и начислили компенсацию: кто-то получил пять недель бесплатного пользования.

Крупные структуры, у которых закупается железо, мгновенно подняли проценты вслед за ставкой ЦБ, но не спешат их снижать. Реальная ставка по лизингу для участников рынка сейчас начинается от 35%. Банки в свою очередь пользуются условиями договоров, где право на пересчёт ставки — это их возможность, а не обязанность.

Дорожают сами серверы, только за этот год на 5–15%. Но главный прикол случился с оперативкой DDR4. С июня она подорожала на 50%.

Получилось смешно и грустно одновременно. Samsung и другие гиганты решили: «Всё, переходим на DDR5!» — и свернули производство четвёрки. А рынок оказался не готов. Чтобы поставить новую память, нужно менять материнские платы, а апгрейдить весь парк серверов ради этого никто не спешит.

В итоге возник дикий дефицит, и цена на старую добрую DDR4 улетела в космос. А это основной расходный материал для масштабирования текущих мощностей, поэтому напрямую бьёт по себестоимости юнита в стойке для любого провайдера.

Логистика остаётся одной из самых непредсказуемых статей расходов.

Большинство провайдеров возит оборудование небольшими партиями и расходы на логистику не размываются, как в ретейле. Поставщики вынуждены закладывать стоимость потенциальных срывов и возвратов в цену каждой единицы товара для всех клиентов.

Свежий пример: везли два сервера из Китая в Армению. На границе их развернули (скорее всего, ошибка в документах). Чтобы вернуть их в Россию, переоформить и отправить заново, поставщик потратил почти 700 000 рублей. За два юнита!

Вообще, есть ощущение, что ИТ — это новая нефтяная отрасль, которую решили подоить. Доходы от ресурсов упали, государству нужны деньги. Что мы имеем в этом году:

1. Повышение страховых взносов для ИТ-компаний из реестра ПО вдвое: с 7,6 до 15%.

2. НДС взлетел до 22% с 1 января.

3. Новые правила для упрощёнки заставят даже малых поставщиков и контрагентов платить НДС, что автоматически увеличит стоимость всех промежуточных услуг в цепочке.

В сумме один только налоговый эффект даст на выходе ещё около 5% к цене.

Но конкретно для нас главный фактор — новый реестр дата-центров. Мы думали, это для льгот на электричество. Но опыт подсказывает, что это очередное «узаконивание поборов». На недавнем саммите ЦОД все верещали: по их прогнозам, услуги дата-центров могут подорожать на 20–25%. Логика, видимо, такая: тарифы на электричество взвинтят для всех до небес, а ЦОДам из реестра дадут ставку, которая позволит им хотя бы не закрыться.

В смысле, вероятно, вы теперь будете выключать свет в туалете, а ЦОДы получат льготы в виде неповышения цен на некоторое время. Если повезёт.

В итоге рыночный прогноз роста цен на услуги хостинга — 10–15%. Перед провайдерами стоит выбор: экономить на качестве, закупая б/у железо, или повышать цены. Мы на качестве экономить не будем, шринкфляцией заниматься тоже. Так что, увы, с января пришлось поднять цены на примерно 5%.

И тут с почты внутри домена приходит такой же тикет, только на другое имя. Мол, утерял доступ, верните.

Второй человек-паук

Через 2 дня появляется тикет с изначальной почты внутри домена. Текст панический: «Караул, у меня угнали аккаунт! Я настоящий владелец, верните всё как было!»

У поддержки начинается лёгкая паника.

Доступ к почте обычно приравнивается к владению аккаунтом.

Запросили документы и у него.

Паспорт он присылать отказался. Но, по идее, владение почтой и есть владение аккаунтом, и он в своём праве.

В чём основная засада

Аккаунтом владеет человек, который произвёл акцепт оферты.

Оферта акцептируется через оплату — то есть тот, кто оплатил, подписал её самим фактом оплаты.

Мы не видим личность человека и не храним банковские данные. То есть для авторизации по стандартам для правоохранительных органов такого акцепта достаточно. Если он правонарушит, они найдут его, запросив по номеру транзакции персональные данные из банка, выпустившего карту, либо параметры карты (с именем) из процессинга, если банк иностранный.

Мы не видим, кто он. Для нас он просто кот. В интернете все коты, пока не доказано обратное.

Мы не можем обратиться в суд, потому что конфликта пока нет. Если бы он был, они бы судились между собой.

Дальше право на владение аккаунтом, фактически, подтверждается при утере по минимальным признакам:

• ФИО, паспорт и документы об оплате — это один минимальный пакет.

• ФИО, паспорт и сертификат на домен с этим ФИО + владение почтой — это другой минимальный пакет.

И вот второй человек-паук предоставил нам сертификат на домен.

То есть оба они с точки зрения логики договора оферты обладают равными правами на аккаунт. По идее, мы должны выдать доступы им обоим, и это правильно. Но, как я говорил, это неправильно.

И есть ещё один нюанс.

Сертификат второго — на личную почту первого!

Второй человек-паук предоставил нам сертификат на домен. С ним две проблемы:

1. Он 2021 года.

2. В графе «Администратор домена» в этом сертификате указана та самая личная почта первого человека-паука, откуда пришёл первый тикет!

Приехать в Москву они не могут, потому что один за рубежом, второй далеко. Но оба готовы выйти на видеозвонок для подтверждения персональных данных с паспортом в зубах.

Мы запросили более свежий сертификат на домен и сидим в когнитивном диссонансе.

До кучи сервак скоро сходит с тарифа, у него заканчивается срок оплаты.

Что сделали сейчас

• Во-первых, нельзя останавливать сервер, потому что там у них, судя по контексту, крутится работающий коммерческий проект.

• Во-вторых, мы тут же сняли снапшот (полный бекап) на всякий случай и продолжаем итерировать эти технические бекапы. Как только они разберутся, где что, мы их предоставим конечному владельцу.

• В-третьих, мы временно заморозили доступ обоим человекам-паукам в панель управления до окончания разбирательств — как минимум пока они не предоставят дополнительные документы.

• В-четвёртых, мы продлим сервер за свой счёт на 1–2 месяца, если это затяняется, и потом предложим им схемы эскроу или другого подобного условного платежа, если всё же они обратятся в суд.

Сейчас у нас ситуация следующая: один контролирует корпоративную почту, но документы на домен ссылаются на личную почту второго. Второй платил деньги и имеет паспорт, но не имеет доступа к корпоративной почте. Они ссылаются друг на друга, и их доказательства взаимоисключающие.

Наше решение сейчас — отправить их обоих добывать новый сертификат на домен. Принцип такой: кто контролирует домен, тот контролирует и админскую почту. То есть нам нужна свежая актуальная выписка от регистратора домена не раньше первого тикета.

Тот, кто её получит, должен будет выйти с нами на видеосвязь. Мы хотим увидеть его лицо, его паспорт и убедиться, что данные в паспорте совпадают с данными в свежей выписке на домен. Более того, возможно, мы попросим создать специальную запись в настройках DNS. Это технически докажет, что человек прямо сейчас управляет доменом, а не просто нашёл старые скриншоты.

Интуитивно мы подозреваем, что перед нами классическая ссора заказчика (например, владельца бизнеса) и админа. Один платил деньги — заказчик с паспортом, а второй всё настраивал и держит руку на пульсе технической части. Возможно, они разругались и теперь делят имущество через нашу техподдержку. Вероятно, что первый человек-паук не разбирается в технической части и поэтому успокоен сообщением, что «в целях безопасности доступ заморожен». Написано же, что в безопасности, значит, всё в порядке.

В общем, мы не знаем точно, что ещё можно сделать в такой ситуации, и вот теперь нам нужен совет сообщества.

Изначально план был спокойный: у нас было месяца четыре на подготовку. Но некоторые западные партнёры почему-то решили отменить свои миссии и сообщили нам: «Парни, вы летите через полтора месяца». Разработка в таких условиях шла, скажем так, несколько напряжённо и без предварительных тестов.

Мы запускали спутники в формате кубсата. Весь их смысл в том, что большие спутники очень тяжело загружаются в корабли, сложно испытываются и выводятся на орбиту. С развитием технологий многие вещи миниатюризировались, и появилась идея делать стандартные слоты для спутников, куда можно положить что угодно типовое и выкинуть его по дороге.

Корпус и базовые системы кубсата можно самим спаять в мастерской, а можно купить. Нам их сделала компания Геоскан. Внутрь можно напихать свою полезную нагрузку — то, что вы возьмёте на борт. Мы установили туда мини-сервер, чтобы у нас была маленькая орбитальная серверная и туда можно было хоститься.

Полезная нагрузка разрабатывается точно так же, как делается обычный коммерческий заказ на электронику, но есть нюансы.

По требованиям Роскосмоса спутник не может лететь включённым. Есть специальные ремувки и концевые выключатели. Пока спутник в ракете — он мёртв. Как только пружина выталкивает его из контейнера, цепь замыкается — и поехали. Поэтому всегда есть риск, что в итоге спутник не включится вообще.

Ещё момент — про охлаждение. На Земле есть конвекция: вентилятор дует, охлаждая воздух. В вакууме воздуха нет. Тепло уходит только через корпус или излучением. Поэтому электроника должна греться по минимуму, иначе она просто расплавит сама себя.

Отдельная запара — софт под эту полезную нагрузку. Здесь особенность в том, что если поставить на спутник Linux и где-то будет конфликт зависимостей, то надо будет доехать и перезагрузить. А это немного проблематично. Пишется два набора софта: чуть ли не конечные автоматы для критических операций и высокоуровневый — для полезной нагрузки. Всего у нас было шесть пикоспутников (размером с полпачки молока), которые помещаются в большой кубсат на три юнита. Главный герой — аппарат Д, внутри которого и жил тот самый веб-сервер.

В итоге мы уложились в рекордные сроки: от начала подготовки до запуска прошло всего восемь месяцев!

27 июня 2023 года с космодрома «Восточный» стартовал «Союз-2.1б». Корабль штатно выпустил большой кубсат на расчётную орбиту. На выходе из люка сработали концевые переключатели, и кубсат подключился к собственному заряженному аккумуляторному блоку (потерявшему около 20 дней в саморазряде, но это некритично). Через полчаса он начал оживать.

Всё круто: видео записывается, команды принимаются. 11 июля даём команду на выход роя. Пикоспутники вылетают из ангара, распрямляя свои нитиноловые антенны. Пять спутников из шести выходят на связь штатно. А вот наш главный с веб-сервером молчит.

Гипотезы были разные. Это космос, такое случается. Никто не услышит и не узнает точно. Плюс из-за дронов в Москве в то время стало очень шумно в плане радиоэфира. Пришлось подключать сеть станций по всей России. На следующий день радиолюбителям всё же удалось поймать телеметрию.

Оказалось, что аппарат работает, передаёт стандартную отбивку. Но борткомпьютер с веб-сервером не стартует. Мы с админами прогнали все сценарии и пришли к выводу, что подвела SD-карта — либо из-за вибраций при пуске, либо из-за перепада температур.

Но мы выкрутились. В контроллере связи был заложен режим ретрансляции. Нам пришлось посимвольно оптимизировать код сайта, чтобы он влез в один пакет — это около 200 байт.

В итоге получили интернет-сайт, размещённый на искусственном спутнике Земли. И провели первый космический CTF (игру для хакеров), который до нас даже американцы не смогли реализовать.

Дальше у нас в планах — Луна. Уже была миссия, когда НАСА подсадило на лунную орбиту несколько кубсатов. Может, и нам повезёт поучаствовать. Такие дела!