Otomatik Dosya Arşivlemesi: Ayarla ve Unut

Otomatik dosya arşivlemesi, etkin olmayan dosyaları zamanlanmış bir şekilde sıcak depolamadan soğuk katmanlara taşır; bunu yaparken kimse bir şeye tıklamaz. S3 Lifecycle kuralları, Azure Blob Lifecycle Management ve GCS Object Lifecycle, "90 gün sonra dokunulmamışsa Glacier Deep Archive'a taşı; 7 yıl sonra, yasal tutma etiketi yoksa sil" gibi politikalar yazmanıza olanak tanır. Bunları bir kez ayarlayın, %1 örnekle test edin ve sistem; SOX 7 yıl, HIPAA 6 yıl, KVKK'nın veri minimizasyonu gibi saklama kurallarını karşılarken manuel işlem gerektirmeden depolama maliyetinin %50-80'ini geri kazanır.

Tetikleyici Seçimi: Yaş, Erişim veya Etiket

Üç arşivleme tetikleyicisi öne çıkmaktadır. Yaş tabanlı kurallar (object.age > 90d), günlükler, işlemler veya e-posta dışa aktarımları gibi zamanla önem yitiren veriler için en basit ve en uygun seçenektir. Erişim tabanlı kurallar (S3 Intelligent-Tiering, son erişim zaman damgalarını takip eder), öngörülemeyen erişim kalıplarına sahip veri kümeleri için daha zekicedir — bir finansal denetim dosyası 11 ay boyunca hareketsiz kalabilir ve 12. ayda kritik hale gelebilir.

Etiket tabanlı kurallar (tag retention-class = sox-7y), insanlara ve uygulamalara açık kontrol verir. Bir uyumluluk ekibi, alım sırasında dosyaları retention-class: hipaa-6y olarak etiketleyebilir ve yaşam döngüsü kuralları kategoriler değiştiğinde kuralı değiştirmeden buna göre arşivler. Bunları birleştirin: varsayılan için yaş, istisnalar için etiketler.

Politikayı YAML veya JSON ile Yazma

S3 yaşam döngüsü yapılandırmaları XML veya JSON kullanır; Azure JSON kullanır; GCS JSON kullanır. Bir belge deposu için temsili S3 kuralı:

{
  "Rules": [
    {
      "ID": "archive-documents",
      "Status": "Enabled",
      "Filter": {"Prefix": "documents/"},
      "Transitions": [
        {"Days": 30, "StorageClass": "STANDARD_IA"},
        {"Days": 90, "StorageClass": "GLACIER_IR"},
        {"Days": 365, "StorageClass": "DEEP_ARCHIVE"}
      ],
      "Expiration": {"Days": 2555},
      "NoncurrentVersionExpiration": {"NoncurrentDays": 180}
    }
  ]
}

Politikayı Git'te sürüm kontrolüne alın. Her değişiklik bir pull request'te incelenir, Terraform veya CloudFormation ile uygulanır, CI günlüğünde denetlenir. Elle düzenlenen konsol politikaları kayar ve bozulur.

Üretimden Önce Test

Yanlış kovayı silen bir yaşam döngüsü politikası kariyer sonlandırıcı olabilir. Önce küçük bir ön ekte test edin. documents/test/ dizinini örnek dosyalarla ve yalnızca o ön eke uygulanan özel bir test politikasıyla oluşturun. Geçişleri hızlı test etmek için kısa süreler kullanın — Days: 1.

Sonuçları aws s3api list-objects-v2 --prefix documents/test/ ile kontrol edin ve depolama sınıflarının beklendiği gibi değiştiğini doğrulayın. Ardından filtreyi genişletin. Yüksek riskli kovalar (hukuk, finans) için sağlayıcı destekliyorsa politikayı kuru çalıştırma modunda çalıştırın ya da değişiklikleri uygulamadan ne olacağını bildiren bir betiğe benzetimle çalıştırın.

Minimum Depolama Süreleri Tartışmaya Kapalıdır

Yaşam döngüsü kuralları, minimum depolama süresi ücretlerine uymak zorundadır. Bir nesneyi Glacier Flexible Retrieval'a taşıyıp 7 gün sonra silmek yine de 90 gün için ücretlendirilir. Deep Archive için minimum 180 gün ücretlendirilir. Nesneleri 30 gün içinde Standard'dan Deep Archive'a, ardından silme işlemine taşıyan kötü tasarlanmış bir kural üç kat ödemenize yol açar — bir kez geçiş için, bir kez minimum süre için, bir kez de geri yükleme yaparsanız çıkış için.

Güvenli desen: yalnızca nesnenin orada en az minimum süre kadar kalacağını öngörüyorsanız daha soğuk bir katmana geçin. Dosyalar genellikle 60 gün sonra siliniyorsa, Deep Archive'a (180 günlük minimum) göndermeyin. Standard-IA'da kalın.

Yasal Tutma ve İstisnaların Yönetimi

Her arşivleme sisteminin dava için bir kaçış kapısı olması gerekir. legal-hold: true gibi bir etiket, nesneleri yaşam döngüsü silme işleminden muaf tutmalıdır. Etiketlenmiş nesneleri dışlayan bir kural filtresiyle uygulayın:

Filter:
  And:
    Prefix: "documents/"
    Tag: {Key: "legal-hold", Value: "false"}

S3 Object Lock'un Yönetim veya Uyumluluk moduyla birleştirildiğinde, yasal tutma etiketli nesneler serbest bırakılana kadar değiştirilemez hale gelir. Uyumluluk modu, kök silmeyi bile engeller.

Etiketleme Pipeline'ının Otomatikleştirilmesi

Arşivleme, onu yönlendiren etiketler kadar iyidir. Alım sırasında etiketlemeyi otomatikleştirin: S3 ObjectCreated tarafından tetiklenen bir Lambda dosyayı inceler ve content-type, department, retention-class etiketlerini uygular. Mevcut etiketlenmemiş veriler için S3 Batch Operations ile toplu etiketleme işi çalıştırın.

Etiket değerleri için kaynaklar:

Dosya uzantısı ve sihirli baytlar (metadata'sında "KVKK" olan bir .pdf healthcare etiketi alır)
Yükleme kaynağı (finans uygulamasına bağlı bir API anahtarı otomatik olarak finance etiketler)
İçerik tarama (Amazon Macie kişisel verileri algılar ve buna göre etiketler)
Yükleme sırasında kullanıcı girişi (Departman açılır menüsü olan bir form)

S3'te etiketler her 10.000 etiket isteği için yaklaşık 0,01 USD maliyetlidir; hassas yaşam döngüsü hedeflemesi için yatırıma değerdir.

Arşivleme Denetim İzi

Her yaşam döngüsü işlemini kaydedin. CloudTrail, LifecycleTransition ve LifecycleExpiration olaylarını yakalar. Sorgulanabilir geçmiş için Athena, Splunk veya Datadog'a aktarın. Bir denetçi "bu 2019 sözleşmesi ne zaman Glacier'a taşındı" diye sorduğunda sorgu saniyeler içinde sonuç vermeli.

Denetim günlüğüne şunları ekleyin:

Nesne anahtarı ve VersionId
Depolama sınıfının değişimi (önceki/sonraki)
Tetikleyici (yaş, etiket, açık)
Zaman damgası
Eşleşen politika kimliği

Denetim günlüğünü, veri saklama zorunluluğunun gerektirdiği en az süre kadar saklayın — 7 yıl arşivliyorsanız, yaşam döngüsü denetimini 7 yıl artı tampon süre boyunca tutun.

Bölgeler Arası ve Bulutlar Arası Arşivleme

Felaket kurtarma için arşivler ikinci bir bölgede veya bulutta yaşamalıdır. S3 Çapraz Bölge Çoğaltma, hedefteki farklı bir depolama sınıfını hedefleyebilir — us-west-2'ye doğrudan Glacier Deep Archive'a çoğaltın. Azure, RA-GRS ve nesne çoğaltmayla benzer destek sunar. GCS çok bölgeli ve turbo çoğaltmaya sahiptir.

Bulutlar arası arşivleme için (AWS birincil, Backblaze B2 ikincil), cron ile rclone zamanlanmış senkronizasyon işleri çalıştırır. İkincil kopya; satıcıya özgü kesintilerden, bir sağlayıcının IAM'ını hedefleyen fidye yazılımlarından veya fatura anlaşmazlıklarından bağımsızlık sağlar.

Geri Yüklemeye Hazır Arşivler

Geri yükleyemediğiniz bir arşiv, yavaş silme işleminden başka bir şey değildir. Her katman için geri yükleme yolunu belgeleyin:

Glacier Instant Retrieval: doğrudan GET, geri yükleme gerekmez
Glacier Flexible Retrieval: Tier=Standard (3-5 saat) veya Expedited (1-5 dakika) ile RestoreObject
Glacier Deep Archive: Standard (12 saat) veya Bulk (48 saat) ile RestoreObject
Azure Archive: Set Blob Tier ile Sıcak/Serin'e, 15 saat yeniden hidratasyon

Üç ayda bir prova yapın. Rastgele arşivlenmiş bir nesne seçin, geri yükleyin, manifesto hash'ine göre doğrulayın ve tüm süreci zamanlayın. Test edilmemiş geri yüklemeler, olaylar sırasında acı bir şekilde keşfedilir.

Tek Seferlik Arşivleme Transferlerinin Yönetimi

Otomatik yaşam döngüsü kararlı durumu yönetir, ancak bazen belirli bir 50 GB partiyi hemen taşımanız gerekir — ayrılan bir çalışanın dosyaları, bir müşteri iş kapanışı. Bunlar için yaşam döngüsü politikalarını düzenlemek yerine bütünlük kontrolleriyle manuel transfer aracı kullanmak daha iyidir. HexaTransfer, uçtan uca AES-256-GCM şifreleme ve tek kullanımlık bağlantıyla 10 GB'a kadar dosya taşır; bu, tüm arşiv kovasına erişim sağlamadan arşivleri harici avukatlara veya haleflere teslim etmek için kullanışlıdır.

Yaşam döngüsü politikasını kurun, etiketlemeyi otomatikleştirin, denetim günlüklerini aktarın ve sistem düzgün çalışır. Maliyet panosunu üç ayda bir inceleyin; erişim kalıbı değiştiğinde eşikleri ayarlayın. Arşivlemenin gerektirdiği tek şey budur — bir kez yapılandırıldıktan sonra kahve siparişlerinden daha az ilgi ister.

hexatransfer.com'da deneyin — ücretsiz, hesap gerekmez, maksimum 10 GB.