Optymalizacja przestrzeni dyskowej: zwolnij miejsce w chmurze

Optymalizacja storage w chmurze zazwyczaj odzyskuje 30–60% rachunku przez cztery działania: usunięcie osieroconych danych, deduplikację identycznych obiektów, kompresję treści bogatych w tekst i tiering zimnych danych do Glacier, Azure Archive lub B2. Bucket AWS 100 TB za 2 300 USD/miesiąc często spada do 800 USD/miesiąc po optymalizacji bez utraty ani jednego potrzebnego pliku. Praca jest przeważnie nudna — inwentaryzacja, analiza, zastosowanie reguł lifecycle — ale oszczędności narastają miesięcznie. Zacznij od pomiaru, nie od kompresji.

Audyt przed cięciem

Uruchom S3 Inventory, Azure Storage Analytics lub raporty blokady bucketu GCS, żeby wyprodukować manifest każdego obiektu: klucz, rozmiar, data ostatniej modyfikacji, klasa storage i tagi. Załaduj do Atheny, BigQuery lub DuckDB i odpytaj.

Typowe wyniki w niezoptymalizowanym buckecie:

20–40% obiektów nie było dostępowanych ponad 90 dni (kandydaci do zimnej warstwy)
5–15% to dokładne duplikaty według hashu SHA-256
10–20% to osierocone — aplikacja, która je stworzyła, już nie istnieje
30–50% to tekst/logi/JSON kompresujące się 3:1 przez zstd

Nie możesz naprawić tego, czego nie zmierzyłeś. Zarezerwuj dzień na wstępny audyt i będziesz wiedział, gdzie spędzić następny miesiąc optymalizacji.

Najpierw usuń oczywiste marnotrawstwo

Zanim sięgniesz po coś wyrafinowanego, usuń to, co nie powinno istnieć. Typowi sprawcy:

Niedokończone uploady wieloczęściowe (S3 trzyma je do jawnego przerwania, czasem latami)
Puste obiekty (zero bajtów, ale płatne metadane)
Pliki logów starsze niż polityka retencji
Pliki tymczasowe (.tmp, ~$*, *.bak, .DS_Store, Thumbs.db)
Dane testowe z uruchomionych-ale-zapomnianych eksperymentów

Uruchom aws s3api list-multipart-uploads i anuluj wszystko starsze niż 7 dni — reguła lifecycle z AbortIncompleteMultipartUpload automatyzuje to na stałe. Dla S3, jedna reguła:

Filter: prefix ""
AbortIncompleteMultipartUpload: DaysAfterInitiation: 7

Osierocone uploady wieloczęściowe na bucketach petabajtowych bywały znane z kosztowania firm tysiące miesięcznie.

Deduplikacja: na poziomie pliku vs bloku

Deduplikacja na poziomie pliku usuwa identyczne obiekty — ten sam hash, te same bajty. Narzędzia takie jak rdfind, fdupes i jdupes skanują katalogi i raportują duplikaty. Dla bucketów chmurowych: przetwórz CSV inwentarza, grupuj po SHA-256 i zachowaj jedną kanoniczną kopię na hash. Zastąp duplikaty wskaźnikami (mały plik JSON odwołujący się do kanonicznego klucza) lub po prostu usuń je, jeśli nie są referencjonowane.

Deduplikacja na poziomie bloku to to, co robią systemy storage takie jak ZFS, Btrfs i dedykowane produkty backupowe (Veeam, Commvault, Rubrik). Dzielą pliki na chunki 4–128 KB, hashują każdy chunk i przechowują każdy unikalny hash raz. Zestaw kopii zapasowych VM może być 90% redundantny na poziomie bloku, dając kompresję 10:1. To ważne dla bucketów backupowych, rzadko dla ogólnego storage plików.

Strategia kompresji według typu pliku

Nie każdy plik się kompresuje. JPEG, MP4 lub Zip jest już skompresowany; uruchamianie gzip przeciwko nim marnuje CPU i nic nie wnosi. Ale formaty bogate w tekst kurczą się dramatycznie:

Logi JSON: redukcja 80–90% przez gzip, 85–92% przez zstd
Eksporty CSV: 75–85%
.docx (już zip): 5–10% (pomiń)
.xlsx: 10–15% (pomiń)
.pdf: 0–5% (pomiń — PDF-y mają wewnętrzną kompresję)
Zrzuty SQL: 85–90%

Używaj zstd dla nowoczesnych pipeline'ów — dekompresuje 2–3x szybciej niż gzip przy podobnych wskaźnikach. Dla logów rotujących do S3, konfiguracja logrotate z compress_program=zstd oszczędza i przepustowość, i storage. Nigdy nie kompresuj już skompresowanego formatu; 0,5% zysku nie jest warte czasu CPU.

Tiering według wzorca dostępu

Gorące dane należą na szybkim storage; zimne dane należą na tanim storage. S3 Intelligent-Tiering automatyzuje to: po 30 dniach bez dostępu obiekty przechodzą do Infrequent Access (0,0125 USD/GB); po 90 dniach — Archive Instant; po 180 — Deep Archive. Usługa pobiera 0,0025 USD za 1 000 monitorowanych obiektów, więc małe pliki (poniżej 128 KB) nie są warte narzutu.

Dla deterministycznej kontroli, pisz jawne reguły lifecycle:

Dzień 30: Standard → Standard-IA
Dzień 90: Standard-IA → Glacier Instant Retrieval
Dzień 365: Glacier IR → Glacier Deep Archive
Dzień 2555: Usuń (chyba że tagowany legal-hold)

Reguły stosują się do wszystkich nowych uploadów automatycznie. Bucket z 100 TB równomiernie rozłożonymi według wieku może zaoszczędzić 1 500 USD/miesiąc vs trzymanie wszystkiego w Standard.

Obsługa narzutu małych plików

Każda chmura pobiera opłatę za minimalny billable rozmiar obiektu. S3 Standard-IA pobiera opłatę za minimum 128 KB, nawet jeśli obiekt ma 4 KB; Glacier Instant Retrieval robi to samo; Glacier Flexible i Deep Archive mają 40 KB metadanych per-obiekt rozliczane według stawek Standard-IA.

Bucket 10 milionów plików 4 KB w Standard-IA płaci za 1,28 TB zamiast 40 GB. Rozwiązanie: pakuj małe pliki w miesięczne archiwa TAR lub ZIP przed tieringiem. tar czf 2026-12-logi.tar.gz logs/2026-12/ daje jeden obiekt zamiast tysięcy. Zachowaj równoległy indeks (CSV z nazwą pliku → offset) do odtwarzania.

Optymalizacja obrazów i wideo

Media często dominują w storage. Konwertuj stare JPEG-i do WebP (30% mniejsze) lub AVIF (50% mniejsze) przez cwebp lub avifenc. Dla wideo, przekoduj stare MP4-y H.264 do H.265 (HEVC) lub AV1 — wideo 1080p H.264 o rozmiarze 1 GB staje się 400 MB w H.265 bez widocznej utraty jakości.

Dla stron CMS z dużą ilością obrazów, uruchom jednorazową konwersję wsadową przez imagemagick lub ffmpeg, zachowaj oryginały w Deep Archive i serwuj zoptymalizowane wersje. Narzędzia takie jak Cloudflare Images i Image Optimizer AWS CloudFront generują warianty w locie, więc przechowujesz jedną kanoniczną kopię i serwujesz przeskalowane, przekodowane wersje na żądanie.

Wykrywanie duplikatów między silosami chmury

Środowiska enterprise często mają te same pliki rozsiane po OneDrive, Google Drive, Dropbox i firmowym SharePoint. Prawdziwa optymalizacja oznacza znajdowanie duplikatów między silosami. Narzędzia takie jak Varonis, Egnyte i rclone (z --track-renames i porównaniem sum kontrolnych) mogą hashować pliki między dostawcami i oznaczać duplikaty.

Dla doraźnej konsolidacji — zebrania rozsianych kopii raport-roczny-2024.pdf w jedno kanoniczne miejsce — dedykowane narzędzie transferu oszczędza round-trip przez laptop. HexaTransfer przenosi pliki do 10 GB z szyfrowaniem AES-256-GCM bezpośrednio między osobami, żebyś mógł konsolidować duplikaty bez wgrywania ich do kolejnego silosu po drodze.

Zmierz deltę

Po optymalizacji zmierz ponownie. Storage Lens (AWS), Cost Management (Azure) lub podział kosztów GCP powinny pokazać redukcję. Jeśli rachunek nie spadł, coś poszło w złym kierunku — sprawdź reguły lifecycle, które przeniosły obiekty z powrotem do Standard (to się zdarza), lub niezamierzoną replikację, która potroiła storage między regionami.

Ustaw miesięczne przypomnienie do przeglądu wzrostu storage. Bucket rosnący 10% miesięcznie bez oczywistego powodu biznesowego zazwyczaj narabia odpadki. Wychwytywanie tego wcześnie — kwartalne 2-godzinne ćwiczenie — bije spanikowany projekt optymalizacji po miesięcznej niespodziance rzędu 50 000 PLN.

Wypróbuj na hexatransfer.com — bezpłatnie, bez konta, do 10 GB.