Холодное хранилище для архивирования файлов: руководство

Холодное хранилище архивирует файлы по $0,001–0,004/ГБ/мес. — примерно в 20 раз дешевле горячего объектного хранилища — в обмен на задержки при восстановлении от нескольких минут до 12 часов. AWS S3 Glacier Deep Archive — $0,00099/ГБ/мес., Azure Archive — $0,00099, Google Archive — $0,0012, Backblaze B2 — фиксированные $0,006 без уровней. Для файлов, которые необходимо хранить семь лет по SOX, шесть лет по требованиям HIPAA к журналам или в рамках долгосрочных юридических удержаний, но которые практически никогда не используются, холодные уровни — единственный экономически обоснованный выбор.

Реальная линейка холодных уровней в 2026 году

Каждый крупный провайдер предлагает три-четыре холодных уровня. Цены и времена восстановления на момент написания:

S3 Glacier Instant Retrieval: $0,004/ГБ/мес., восстановление в миллисекунды, минимальный тарифицируемый объём 128 КБ
S3 Glacier Flexible Retrieval: $0,0036/ГБ/мес., ускоренное восстановление за 1–5 минут или стандартное за 3–5 часов
S3 Glacier Deep Archive: $0,00099/ГБ/мес., стандартное восстановление за 12 часов
Azure Cool: $0,0152/ГБ/мес., миллисекунды
Azure Cold: $0,0036/ГБ/мес., миллисекунды
Azure Archive: $0,00099/ГБ/мес., до 15 часов
Google Nearline: $0,010/ГБ/мес., миллисекунды
Google Coldline: $0,004/ГБ/мес., миллисекунды
Google Archive: $0,0012/ГБ/мес., миллисекунды (да, восстановление из архива за миллисекунды)

Отличие Google: все уровни возвращают данные за миллисекунды, переменной является стоимость восстановления. AWS и Azure обменивают более низкую стоимость хранения на большую задержку восстановления.

Стоимость восстановления: ловушка, которую никто не читает

Хранение дёшево; восстановление может быть жёстким. Восстановление 10 ТБ из Glacier Deep Archive со стандартным восстановлением стоит около $200 в виде платы за восстановление плюс $900 за исходящий трафик в интернет. Регидратация Azure Archive — $0,022/ГБ (приоритет) или $0,005/ГБ (стандарт). Исходящий трафик Google Archive — $0,12/ГБ в интернет.

Посчитайте точку безубыточности: если ожидается, что 100% архива будет восстановлено раз в год, горячее хранилище может оказаться дешевле, несмотря на кажущуюся 20-кратную дороговизну ежемесячно. Практическое правило: Deep Archive выгоднее Standard, только если восстановления не превышают 5% датасета в год. Смоделируйте паттерн доступа перед принятием решения — иначе необходимость вытащить 500 ТБ из Glacier для ответа на судебный иск станет неожиданными расходами на шестизначную сумму.

Минимальные сроки хранения

Все холодные уровни тарифицируют минимальный период хранения, даже если удалить файл досрочно:

S3 Glacier Instant Retrieval: 90 дней
S3 Glacier Flexible Retrieval: 90 дней
S3 Glacier Deep Archive: 180 дней
Azure Cool: 30 дней
Azure Cold: 90 дней
Azure Archive: 180 дней

Загрузите файл в 1 ТБ в Deep Archive и удалите через неделю — вы всё равно заплатите за 180 дней, около $178. Lifecycle-правила, агрессивно понижающие уровень и удаляющие файлы, могут спровоцировать эти расходы. Устанавливайте Expiration в lifecycle не менее чем за один день до истечения минимального срока или объединяйте мелкие файлы в более крупные архивы перед загрузкой.

Упаковка мелких файлов в крупные архивы

Накладные расходы на объект убивают экономику холодного хранилища. Deep Archive имеет накладные расходы метаданных 40 КБ на объект, тарифицируемые по ставкам Standard-IA. Бакет со 100 миллионами файлов по 10 КБ платит за метаданные больше, чем за сами данные. Упаковывайте мелкие файлы в TAR или ZIP перед загрузкой — 1 ГБ файлов по 10 КБ превращается в один архив 1 ГБ, экономя 99% накладных расходов.

Инструменты вроде fpart разбивают директории на части фиксированного размера, а tar --concatenate дописывает новые файлы к существующим архивам. Для архивов соответствия требованиям (журналы аудита, выгрузки почты) ежемесячные tar-архивы с SHA-256-хешем и хранением манифеста в отдельном индексном бакете дают поиск с возможностью восстановления без оплаты за каждый объект.

Целостность на протяжении десятилетий

Холодные архивы хранятся годами. Битовое гниение — не теория: S3 заявляет 11 девяток долговечности (одна потеря на 100 миллиардов объектов в год), но сквозные контрольные суммы всё равно нужны. Загружайте с заголовками x-amz-content-sha256 или Content-MD5, храните хеш в отдельном манифесте и периодически проводите аудит.

Для соответствия WORM (однократная запись, многократное чтение) S3 Object Lock с Compliance Mode предотвращает удаление даже от имени root на срок хранения до 100 лет. Azure Immutable Blob Storage предлагает то же самое. SEC Rule 17a-4(f) для брокерских дилеров и FINRA 4511 явно требуют этого паттерна для торговых записей.

Политика хранения в виде кода

Не оставляйте политику хранения в документе Confluence. Закодируйте её. S3 Lifecycle Configuration, Azure Blob Lifecycle Management и GCS Object Lifecycle поддерживают правила на основе возраста, класса хранения, тега или версии. Типичная политика для регулируемых журналов:

День 0–30: S3 Standard
День 30–90: S3 Standard-IA
День 90–365: S3 Glacier Instant Retrieval
День 365–2555 (7 лет): S3 Glacier Deep Archive
День 2555: Удаление (если нет тега юридического удержания)

Используйте исключения на основе тегов для юридических удержаний, чтобы lifecycle не удалял доказательства. Тестируйте политику на бакете-образце 1% перед применением в продакшене.

Шифрование: обязательно и на холодных уровнях

Холодный не значит незащищённый. Серверное шифрование AES-256-GCM бесплатно у всех крупных провайдеров и должно быть включено по умолчанию. Для дополнительной уверенности используйте управляемые клиентом ключи (KMS, Key Vault, Cloud KMS), чтобы контролировать ротацию и отзыв. Удаление ключа фактически уничтожает данные без изменения шифротекста — удобно для криптографического стирания по истечении срока юридического хранения.

Для архивов, покидающих основного провайдера — например, во вторичное облако для аварийного восстановления — клиентское шифрование перед передачей избавляет от необходимости доверять посреднику. Инструменты на основе AES-256-GCM с получением ключа PBKDF2 позволяют передать файл шифротекста любому холодному бэкенду без раскрытия открытого текста. HexaTransfer работает именно так для перемещения конфиденциальных файлов в долгосрочные архивы: шифрование происходит до загрузки, и только вы держите ключ.

Восстановление без потери рассудка

Практикуйте восстановление. Архив, который никогда не тестировался, — это надежда, а не резервная копия. Ежеквартально выбирайте случайный файл из годичного уровня Glacier, восстанавливайте его, проверяйте хеш по манифесту и засекайте время всего процесса.

Закладывайте резерв для массовых восстановлений: массовое восстановление S3 Glacier Deep Archive обрабатывает 2 ГБ/сек на аккаунт по умолчанию, так что восстановление 100 ТБ займёт около 14 часов передачи после 12-часового «оттаивания». Заранее запросите увеличение лимита сервиса — обнаруживать квоту во время реального инцидента не хочется. Задокументируйте runbook, затраты и SLA, которого ожидают владельцы бизнеса.

Попробуйте на hexatransfer.com — бесплатно, без аккаунта, до 10 ГБ.