Strategien zur Dateideduplizierung für Cloud-Speicher

Dateideduplizierung reduziert Cloud-Speicher um 20–90 % je nach Workload, mithilfe einer von drei Techniken: Datei-Level (identische Dateien einmal speichern, per SHA-256-Hash indexiert), Block-Level (Dateien in 4–128-KB-Blöcke aufteilen und pro Block deduplizieren) oder variable Blocklänge per Content-Defined Chunking (CDC) mit Rabin-Fingerprints. VM-Backups erreichen 10:1-Reduktionen; allgemeine Office-Dateien 2:1; Medienbibliotheken fast nichts. Wählen Sie die Technik, die zu Ihren Daten passt — Block-Dedup auf einer Bibliothek bereits einzigartiger .mp4-Dateien auszuführen, verschwendet CPU ohne Gewinn.

Datei-Level-Dedup: Der einfachste Gewinn

Datei-Level-Dedup vergleicht ganze Datei-Hashes. Zwei Dateien mit demselben SHA-256 sind identisch; eine behalten, die andere darauf zeigen lassen. Die Implementierung dauert ein Wochenende:

Bucket-Inhalt inventarisieren (S3 Inventory, Azure Inventory, GCS-Bucket-Liste)
SHA-256 für jedes Objekt berechnen (oder anbietergelieferte ETags verwenden, mit Vorbehalten)
Nach Hash gruppieren, einen kanonischen Schlüssel pro Gruppe auswählen, Referenzen aktualisieren, Duplikate löschen

Vorbehalte: S3-ETags stimmen nur bei Einzel-Part-Uploads unter 5 GB mit SHA-256 überein. Mehrteilige Uploads verwenden eine andere Formel (Hash von Hashes). Für zuverlässige Dedup berechnen Sie Ihren eigenen Hash mit aws s3 cp s3://bucket/key - | sha256sum oder berechnen Sie beim Upload und speichern Sie in Metadaten.

Datei-Level-Dedup glänzt, wenn Nutzer routinemäßig dieselben Dateien hochladen — Anbieter-PDFs, Unternehmensvorlagen, geteilte Bilder. Erwarten Sie 10–30 % Einsparungen bei typischen Office-Workloads.

Block-Level-Dedup: Der große Multiplikator

Block-Level teilt jede Datei in Blöcke fester Größe (4 KB, 16 KB, 64 KB) auf und hasht jeden Block. Zwei Dateien, die 80 % ihrer Blöcke teilen, speichern nur die einzigartigen 20 % plus eine Kopie der geteilten Blöcke. Backup-Produkte (Veeam, Rubrik, Commvault), Dateisysteme (ZFS mit dedup=on, Btrfs) und einige Backup-Clouds (Backblaze B2 mit clientseitiger Dedup) nutzen das.

Vorteile: massive Komprimierung bei VM-Images, Datenbankbackups und Log-Archiven, wo Dateien große Bereiche teilen. Nachteile: hoher Speicherbedarf (der Dedup-Index liegt im RAM), CPU-Kosten beim Schreiben und katastrophale Amplifikation bei Indexkorruption.

Für Cloud-Objektspeicher erfolgt Block-Dedup meist innerhalb eines Backup-Produkts, nicht als native Funktion. S3 selbst dedupliziert nicht; Backblaze B2 dedupliziert beim Upload, wenn der Client zuerst Block-Hashes sendet (b2_start_large_file mit vorberechneten Teilen).

Content-Defined Chunking (CDC)

Feste Blockgrößen versagen, wenn am Anfang einer Datei ein Byte eingefügt wird — jeder nachfolgende Block hasht anders. Content-Defined Chunking verwendet einen Rolling Hash (Rabin-Karp-Fingerprint), um Blockgrenzen anhand von Inhaltsmustern zu definieren. Fügen Sie ein Byte ein und nur der unmittelbare Block ändert sich.

CDC ist die Grundlage für restic, BorgBackup, Duplicacy und Kopia. Diese Open-Source-Werkzeuge deduplizieren clientseitig mit variablen Blöcken, die im Durchschnitt 1–4 MB groß sind. Beim Sichern von 500 GB Dateien, die sich inkrementell ändern, verwenden CDC-basierte Backups oft unter 50 GB eindeutigem Speicher.

Wenn Sie ein Backup- oder Sync-System entwickeln, ist CDC über eine Bibliothek wie fastcdc-rs oder chunky die moderne Wahl. Implementieren Sie keinen eigenen Rolling Hash — die Randfälle sind subtil.

Inline- vs. Post-Process-Dedup

Inline-Dedup läuft zur Schreibzeit — bevor Daten die Disk treffen, prüft das System, ob der Block bereits existiert. Falls ja, schreiben Sie eine Referenz; falls nein, schreiben Sie den Block. Wird von ZFS, den meisten Backup-Appliances und einigen Cloud-Speicherebenen verwendet.

Post-Process-Dedup schreibt zuerst, dann führt ein Hintergrundauftrag die Suche nach Duplikaten durch und gibt Speicher frei. Wird von Windows Server Data Deduplication, NetApp SnapVault und den meisten User-Space-Werkzeugen verwendet. Post-Process hat niedrigere Schreiblatenz, benötigt aber mehr Spitzenspeicher (Duplikate existieren kurzzeitig vor der Bereinigung).

Für Cloud-Workloads ist Inline-Dedup meist nicht verfügbar — S3 bietet es nicht an. Post-Process mit einem geplanten Job (täglich Inventar, täglicher Dedup-Lauf) ist das praktische Muster.

Wo Dedup nicht hilft

Bereits komprimierte oder verschlüsselte Daten deduplizieren schlecht. Zwei verschiedene .mp4-Dateien, selbst mit ähnlichem Inhalt, teilen kaum Bytes. Zwei verschlüsselte .zip-Dateien desselben Klartexts teilen nach der Verschlüsselung null Bytes — das ist der Punkt der Verschlüsselung.

Das bedeutet: Ende-zu-Ende-verschlüsselter Dateispeicher kann nicht benutzerübergreifend deduplizieren. Convergent Encryption (Klartext hashen, Hash als Schlüssel verwenden) war ein Versuch, Dedup bei E2EE zu ermöglichen, hat aber Sicherheitsprobleme — es ermöglicht Bestätigungsangriffe auf Dateien. Für E2EE-Dateidienste akzeptieren Sie, dass Dedup innerhalb der eigenen Dateien eines Nutzers stattfindet, nicht benutzerübergreifend.

Die Sicherheitsseite der Dedup

Benutzerübergreifende Dedup in Nicht-E2EE-Systemen schafft einen Seitenkanal: wenn eine von Ihnen hochgeladene Datei auf einen bestehenden Block dedupliziert, erfährt der Server, dass jemand anderes diese Datei bereits hatte. Dropbox hatte das 2011 enthüllt; andere Dienste ebenfalls. Für geteilte Geschäftskonten ist das in Ordnung, aber für Dienste, die Datenschutz beanspruchen, ist es ein Leck.

Wenn Vertraulichkeit wichtig ist, deduplizieren Sie nur innerhalb der eigenen Daten eines Nutzers (mit einem nutzerspezifischen Schlüssel gesalzt), nicht systemweit. Oder akzeptieren Sie, dass E2EE keine Dedup bedeutet, und dimensionieren Sie den Speicher entsprechend. Werkzeuge, die Datenschutz priorisieren — HexaTransfer für verschlüsselte ad-hoc-Übertragungen beispielsweise — tauschen Dedup-Effizienz gegen die Garantie, dass niemand sonst (einschließlich des Dienstes) sagen kann, ob zwei Nutzer dieselbe Datei haben.

Dedup-Effektivität messen

Aktivieren Sie Dedup nicht einfach und hoffen Sie. Messen Sie das Verhältnis:

dedup_ratio = logische_bytes / physische_bytes

Ein Verhältnis von 2:1 bedeutet, dass Sie 2 logische Bytes pro 1 physischem Byte speichern. Berichtwerkzeuge: zpool get dedupratio auf ZFS, Get-DedupStatus auf Windows Server, Per-Repo-Statistiken auf restic/Borg.

Gesunde Verhältnisse nach Workload:

VM-Images: 8–20:1
Datenbankbackups: 10–30:1
Dateiserver (Office-Dokumente): 1,5–3:1
E-Mail-Archive: 2–5:1
Medienbibliotheken: 1,0–1,1:1 (nicht der Mühe wert)
Verschlüsselte Archive: 1,0:1 (unmöglich)

Wenn ein Workload-Verhältnis unter 1,5:1 liegt, schalten Sie Dedup aus — CPU und Speicher zahlen sich nicht aus.

Integration mit Backup-Produkten

Die meisten Unternehmen implementieren Dedup nicht von Grund auf — sie verwenden ein Backup-Produkt, das das erledigt. Vergleichspunkte bei der Auswahl:

Veeam: Inline-Block-Dedup, Standard-512-KB-Blöcke, Komprimierung nach Dedup
Rubrik: Content-defined variable Blöcke, Sub-Block-Dedup
Commvault: Clientseitige Dedup mit Per-Client- und globalen Pools
restic/Borg/Kopia: Open-Source-CDC, clientseitig, S3/B2/Azure-Backends
BackupPC: Hardlink-basiertes Datei-Level, einfach aber veraltet

Für ein kleines Unternehmen, das 2 TB nach S3 Glacier sichert, kostet restic nach Glacier Instant Retrieval rund 15 EUR/Monat bei 5:1-Dedup. Für einen 500-TB-Unternehmensdatenbestand bezahlt sich eine richtige Backup-Plattform mit Dedup im ersten Jahr der Speichereinsparungen.

Wann man Komprimierung obendrauf setzt

Dedup entfernt doppelte Bytes; Komprimierung beseitigt Redundanz innerhalb eindeutiger Bytes. Sie stapeln sich. Nach Dedup zstd-Komprimierung für weitere 1,5–2-fache Reduzierung bei textlastigen Daten anwenden. BorgBackup unterstützt --compression zstd; restic hat --compression max; AWS EFS hat transparente Komprimierung für OneZone-IA.

Reihenfolge wichtig: zuerst Dedup (um doppelte Blöcke aufzudecken), dann die eindeutigen Blöcke komprimieren. Zuerst zu komprimieren besiegt meist Dedup, weil kleine Eingabeänderungen durch die komprimierte Ausgabe kaskadieren. Alle seriösen Backup-Produkte handhaben das korrekt — Sie wählen nur die Einstellungen.

Dedup ist langweilig, unspektakulär und der größte Hebel bei den Speicherkosten für gemischte Workloads. Inventarisieren Sie die Daten, wählen Sie die Technik, die zum Inhalt passt, messen Sie das Verhältnis und gewinnen Sie das Budget zurück.

Jetzt kostenlos testen auf hexatransfer.com — kein Konto, max. 10 GB.