İçeriğe atla
HexaTransfer
Bloga dön
Bulut ve depolama

Depolama Alanı Optimizasyonu: Cloud Alanını Boşaltın

Çoğaltma önleme, sıkıştırma ve akıllı arşivlemeyle depolama alanınızı optimize edin. Boşa harcanan alanı geri kazanın ve depolama maliyetlerini düşürün.

Bulut depolama optimizasyonu genellikle dört eylem aracılığıyla faturanın %30-60'ını geri kazanır: sahipsiz veriyi silmek, özdeş nesneleri tekilleştirmek, metin ağırlıklı içeriği sıkıştırmak ve soğuk veriyi Glacier'a, Azure Arşivi'ne veya B2'ye katmanlamak. Aylık 2.300 dolar olan 100 TB'lık bir AWS bucket'ı, tek bir gerekli dosya kaybolmadan optimizasyonun ardından sıklıkla aylık 800 dolara düşer. Çalışma büyük ölçüde sıkıcıdır — envanter, analiz, yaşam döngüsü kuralları uygulama — ancak tasarruflar aylık birikir. Sıkıştırmayla değil, ölçümle başlayın.

Kesmeden Önce Denetleyin

Her nesnenin bir bildirimi üretmek için S3 Inventory, Azure Depolama Analizi veya GCS bucket kilit raporlarını çalıştırın: anahtar, boyut, son değiştirme tarihi, depolama sınıfı ve etiketler. Athena, BigQuery veya DuckDB'ye yükleyin ve sorgulayın.

Optimize edilmemiş bir bucket'taki tipik bulgular:

  • Nesnelerin %20-40'ına 90 günden fazla süre içinde erişilmemiş (soğuk katman adayları)
  • %5-15'i SHA-256 karması itibarıyla tam kopyalar
  • %10-20'si sahipsiz — onları oluşturan uygulama artık mevcut değil
  • %30-50'si zstd ile 3:1 sıkıştırılan metin/günlük/JSON

Ölçmediğiniz şeyi düzeltemezsiniz. İlk denetim için bir gün bütçeleyin; bir sonraki optimizasyon ayında nereye harcayacağınızı öğrenirsiniz.

Önce Belirgin Atıkları Silin

Gelişmiş herhangi bir şeyden önce, var olmaması gerekenleri silin. Yaygın suçlular:

  • Tamamlanmamış çok parçalı yüklemeler (S3 bunları açık iptale kadar tutar, bazen yıllarca)
  • Boş nesneler (sıfır bayt, ancak meta veri faturalandırılır)
  • Saklama politikasından daha eski günlük dosyaları
  • Geçici dosyalar (.tmp, ~$*, *.bak, .DS_Store, Thumbs.db)
  • Başlatılıp unutulan deneylerden test verileri

aws s3api list-multipart-uploads çalıştırın ve 7 günden eski her şeyi iptal edin — AbortIncompleteMultipartUpload içeren bir yaşam döngüsü kuralı bunu kalıcı olarak otomatikleştirir. S3 için tek bir kural:

Filter: prefix ""
AbortIncompleteMultipartUpload: DaysAfterInitiation: 7

Petabaytlık bucket'lardaki sahipsiz çok parçalıların şirketlere aylık binlerce dolara mal olduğu bilinmektedir.

Tekilleştirme: Dosya Düzeyi ve Blok Düzeyi

Dosya düzeyinde tekilleştirme özdeş nesneleri kaldırır — aynı karma, aynı bayt. rdfind, fdupes ve jdupes gibi araçlar dizinleri tarar ve kopyaları raporlar. Bulut bucket'ları için envanter CSV'sini işleyin, SHA-256'ya göre gruplayın ve karma başına bir standart kopya tutun. Kopyaları işaretçilerle değiştirin (standart anahtara atıfta bulunan küçük JSON dosyası) veya yalnızca atıfsız ise silin.

Blok düzeyinde tekilleştirme, ZFS, Btrfs ve özel yapım yedekleme ürünleri (Veeam, Commvault, Rubrik) gibi depolama sistemlerinin yaptığı şeydir. Dosyaları 4-128 KB bloklar halinde parçalara ayırır, her bloğu karma alır ve her benzersiz karmayı bir kez saklar. Bir VM yedekleme seti, blok düzeyinde %90 yedekli olabilir; 10:1 sıkıştırma sağlar. Bu, yedekleme bucket'ları için önem taşır, ancak genel dosya depolama için nadiren geçerlidir.

Dosya Türüne Göre Sıkıştırma Stratejisi

Her dosya sıkıştırılmaz. JPEG, MP4 veya Zip zaten sıkıştırılmıştır; bunlara gzip uygulamak CPU boşa harcar ve hiçbir şey kazandırmaz. Ancak metin ağırlıklı biçimler dramatik biçimde küçülür:

  • JSON günlükleri: gzip ile %80-90, zstd ile %85-92 azalma
  • CSV dışa aktarmaları: %75-85
  • .docx (zaten zip): %5-10 (atla)
  • .xlsx: %10-15 (atla)
  • .pdf: %0-5 (atla — PDF'lerde dahili sıkıştırma var)
  • SQL dökümleri: %85-90

Modern boru hatları için zstd kullanın — benzer oranlarda gzip'ten 2-3 kat daha hızlı sıkıştırması açar. S3'e dönen günlükler için compress_program=zstd ile logrotate yapılandırması hem bant genişliğini hem de depolamayı tasarruf eder. Zaten sıkıştırılmış bir biçimi hiçbir zaman sıkıştırmayın; %0,5'lik kazanım CPU süresine değmez.

Erişim Desenine Göre Katmanlama

Sıcak veriler hızlı depolamaya, soğuk veriler ise ucuz depolamaya aittir. S3 Intelligent-Tiering bunu otomatikleştirir: 30 günlük erişim yokluğundan sonra nesneler Seyrek Erişim'e ($0,0125/GB) taşınır; 90 gün sonra Arşiv Anlık, 180 gün sonra Derin Arşiv. Hizmet izlenen 1.000 nesne başına 0,0025 $ alır; bu nedenle küçük dosyalar (128 KB'ın altında) yükü karşılamaz.

Belirleyici kontrol için açık yaşam döngüsü kuralları yazın:

    1. gün: Standard → Standard-IA
    1. gün: Standard-IA → Glacier Instant Retrieval
    1. gün: Glacier IR → Glacier Deep Archive
    1. gün: Sil (legal-hold etiketlenmemişse)

Kurallar otomatik olarak tüm yeni yüklemelere uygulanır. Yaşlar arasında eşit dağıtılmış 100 TB'lık bir bucket, her şeyi Standard'da tutmaya kıyasla aylık 1.500 dolar tasarruf edebilir.

Küçük Dosya Yükü

Her bulut, minimum faturalandırılabilir nesne boyutu alır. S3 Standard-IA, nesne 4 KB olsa bile minimum 128 KB için ücret alır; Glacier Instant Retrieval de aynı şekilde; Glacier Flexible ve Deep Archive'ın, Standard-IA oranlarında alınan nesne başına 40 KB meta verisi vardır.

Standard-IA'daki 10 milyon 4 KB dosyadan oluşan bir bucket, 40 GB yerine 1,28 TB için ödeme yapar. Çözüm: katmanlamadan önce küçük dosyaları aylık TAR veya ZIP arşivlerinde paketleyin. tar czf 2026-12-günlükler.tar.gz günlükler/2026-12/ size binlerce yerine tek bir nesne verir. Alma için paralel bir indeks tutun (dosya adı → ofset içeren CSV).

Görüntü ve Video Optimizasyonu

Medya genellikle depolamaya hakimdir. Eski JPEG'leri cwebp veya avifenc ile WebP'ye (%30 daha küçük) veya AVIF'e (%50 daha küçük) dönüştürün. Video için eski H.264 MP4'leri H.265 (HEVC) veya AV1'e yeniden kodlayın — 1 GB'lık 1080p H.264 video, görünür kalite kaybı olmadan H.265'te 400 MB olur.

Görüntü ağırlıklı CMS siteleri için imagemagick veya ffmpeg ile tek seferlik toplu dönüştürme çalıştırın, orijinalleri Derin Arşiv'de tutun ve optimize edilmiş sürümlere hizmet verin. Cloudflare Images ve AWS CloudFront'un Görüntü Optimize Edicisi gibi araçlar anında varyantlar oluşturur; böylece bir standart kopya saklar ve istendiğinde yeniden boyutlandırılmış, yeniden kodlanmış sürümler sunarsınız.

Bulut Silolar Arası Kopya Tespiti

Kurumsal ortamlar sıklıkla aynı dosyalara OneDrive, Google Drive, Dropbox ve bir şirket SharePoint'i arasında dağılmış biçimde sahiptir. Gerçek optimizasyon, silodan-siloya kopyalar bulmak demektir. Varonis, Egnyte ve rclone (--track-renames ve karma karşılaştırmasıyla) gibi araçlar, sağlayıcılar genelinde dosyaları karma alabilir ve kopyaları işaretleyebilir.

Tek seferlik konsolidasyon için — yillik-rapor-2024.pdf'nin dağılmış kopyalarını tek bir standart konuma çekmek — özel bir transfer aracı, dizüstü bilgisayar üzerinden gidiş-dönüş yolculuğunu önler. HexaTransfer, yolda başka bir siloya yüklemeden kopyaları konsolide edebilmeniz için AES-256-GCM şifrelemesiyle doğrudan kişiler arasında 10 GB'a kadar dosya taşır.

Farkı Ölçün

Optimizasyonun ardından tekrar ölçün. Storage Lens (AWS), Maliyet Yönetimi (Azure) veya GCP'nin maliyet dökümü azalmayı göstermelidir. Fatura düşmediyse bir şey yanlış yöne hareket etti — nesneleri Standard'a geri geçiren yaşam döngüsü kurallarını (oluyor) veya depolamayı bölgeler genelinde üçe katlayan istenmeyen çoğaltmayı kontrol edin.

Depolama büyümesini gözden geçirmek için aylık bir hatırlatıcı ayarlayın. Belirgin bir iş nedeni olmadan aylık %10 büyüyen bir bucket genellikle atık biriktiriyordur. Bunu erken yakalamak — üç aylık 2 saatlik ritüel — aylık 1.500 dolarlık sürpriz sonrasındaki panik içindeki optimizasyon projesini önler.

hexatransfer.com'da deneyin — ücretsiz, hesap gerekmez, maksimum 10 GB.

Uçtan uca şifreleme ile büyük dosyaları güvenle gönderin

Uçtan uca şifreleme ile 10 GB'a kadar dosya ücretsiz aktarın. Hesap gerekmez. Dosyalarınız yüklenmeden önce tarayıcınızda şifrelenir — başka kimse okuyamaz.

Dosya gönder