Gedistribueerde bestandsopslag uitgelegd: hoe het werkt

Gedistribueerde bestandsopslag spreidt data over veel nodes zodat geen enkele machine een bottleneck of enkel foutpunt is. De AVG vereist dat persoonsgegevens worden beschermd tegen verlies, ongeautoriseerde toegang en onbeschikbaarheid; gedistribueerde opslagarchitectuur is de technische basis voor duurzaamheid en beschikbaarheid die aan die eis voldoet. De ontwerpkeuzes — hoe data te plaatsen, hoe te repliceren, hoe knooppuntfouten te verwerken, hoe consistent te blijven — onderscheiden systemen zoals Ceph (object/block/file), GlusterFS (POSIX), HDFS (big-data batch), MinIO (S3-compatibel) en inhoudsgeadresseerde systemen zoals IPFS en Filecoin. Elk richt zich op andere workloads en de afwegingen zijn reëel.

Replicatie versus erasure coding

Twee strategieën beschermen tegen knooppuntfouten. Replicatie bewaart meerdere volledige kopieën: de standaard van Ceph is 3x replicatie, wat betekent dat een object van 1 GB 3 GB ruwe opslag gebruikt. Eenvoudig te redeneren, snel te lezen, duur in opslag. Erasure coding splitst data in k datachunks plus m paritychunks met Reed-Solomon-codes, zodat een (10,4)-schema 14 chunks opslaat en 4 fouten tolereert met slechts 40 procent overhead in plaats van 200 procent. MinIO gebruikt standaard erasure coding; Backblaze Vaults gebruikt 17+3 Reed-Solomon. Leesbewerkingen met erasure coding zijn trager omdat reconstructie meerdere chunks kan vereisen, waardoor hete data replicatie en koude data erasure coding gebruikt.

Consistente hashing en gegevensplaatsing

Hoe beslist een systeem welke node welk object opslaat? Consistente hashing — geïntroduceerd door Karger et al. (1997) en gepopulariseerd door DynamoDB en Cassandra — hasht sleutels naar een ring en koppelt elk bereik aan een knooppunt. Het toevoegen of verwijderen van een knooppunt verschuift slechts een fractie van de sleutels, niet de volledige dataset. Ceph gebruikt CRUSH (Controlled Replication Under Scalable Hashing), een deterministisch algoritme dat objecten plaatst op basis van een topologiekaart (rack, rij, datacenter) zodat replica's in diverse foutdomeinen terechtkomen. Virtuele knooppunten (vnodes) per fysiek knooppunt egaliseren belastonbalans.

Consistentiemodellen: sterk, uiteindelijk en causaal

Het CAP-theorema zegt dat je geen consistentie, beschikbaarheid en partitietolerantie tegelijk kunt hebben — je kiest er twee. Sterke consistentie (lineariseerbaarheid) betekent dat leesbewerkingen de meest recente schrijfbewerking zien; systemen zoals Spanner en etcd bieden dit via consensusprotocollen zoals Paxos of Raft. Uiteindelijke consistentie (DynamoDB, Cassandra, S3 voor sommige historische bewerkingen) betekent dat replica's convergeren met de tijd, met verouderde leesbewerkingen mogelijk tijdens propagatie. Causale consistentie behoudt oorzaak-gevolgvolgorde zonder volledige lineariseerbaarheid. Bestandsopslag accepteert vaak uiteindelijke consistentie voor metadata (oplijsting, grootte) met sterke consistentie voor leesbewerkingen-na-schrijfbewerkingen van hetzelfde object.

Ceph-architectuur: OSD's, monitoren, managers en MDS'en

Ceph draait vier typen daemons. OSD's (Object Storage Daemons) slaan objecten op en repliceren ze; een cluster heeft doorgaans 10 tot 1.000 OSD's op draaiende of NVMe-schijven. Monitoren (MON's) onderhouden de clusterstatus via Paxos; 3 of 5 MON's vormen quorum. Managers (MGR's) tonen meetwaarden en hosten dashboards. MDS'en (Metadata Servers) bedienen de CephFS POSIX-bestandssysteemlaag. Objectopslag via RADOS Gateway (RGW) presenteert S3- en Swift-API's. Blokopslag via RBD ondersteunt OpenStack-volumes en VM-schijven. Één codebase, drie persoonlijkheden.

HDFS en zijn Hadoop-erfgoed

HDFS (Hadoop Distributed File System) richt zich op grote sequentiële leesbewerkingen voor MapReduce- en Spark-taken. Bestanden worden opgesplitst in blokken van 128 MB of 256 MB; elk blok repliceert standaard 3x over DataNodes. Een NameNode houdt alle metadata in het geheugen, wat de schaal beperkt tot ruwweg 500 miljoen bestanden per NameNode. HDFS Federation en HDFS Router voegen multi-namespace-ondersteuning toe. HDFS is niet goed voor kleine bestanden (metadata domineert) of POSIX-compatibiliteit, maar uitstekend voor analyses op TB-schaal datasets. Het wordt ook verdrongen door objectopslag (S3, GCS) naarmate compute en opslag in het cloudtijdperk worden gescheiden.

Inhoudsgeadresseerde opslag: IPFS en Filecoin

IPFS (InterPlanetary File System) identificeert inhoud op hash (CID, Content IDentifier) in plaats van locatie. Iedereen die een bestand met dezelfde inhoud opslaat, produceert dezelfde CID. Ophaling gebruikt een DHT (Distributed Hash Table, Kademlia-gebaseerd) om knooppunten te vinden die de inhoud bezitten. Filecoin voegt economische prikkels toe — miners bewijzen dat ze inhoud opslaan via PoRep (Proof-of-Replication) en PoSt (Proof-of-Spacetime) en verdienen FIL-tokens. IPFS past goed bij archivering en gedecentraliseerde publicatie (NFT-metadata, web3-sites); het is traag voor interactieve workloads vanwege DHT-opzoeklatentie van honderden milliseconden tot seconden.

Objectopslag: S3, R2, B2 en MinIO

Objectopslag presenteert een platte sleutel-waarde-API: PUT een object met een sleutel, GET het terug. Geen mappen, geen POSIX-semantiek. Deze eenvoud maakt massale schaal mogelijk — AWS S3 slaat biljarden objecten op met 11 negens duurzaamheid. Klonen zoals Cloudflare R2, Backblaze B2, Wasabi en DigitalOcean Spaces implementeren de S3-API op verschillende backends. MinIO draait on-premises als open source AGPL v3, vaak in Kubernetes als een StatefulSet. Objectopslag heeft de cloudopslagmarkt grotendeels gewonnen omdat de API eenvoudig is, de prijsstelling duidelijk en de duurzaamheid betrouwbaar.

Erasure coding in de praktijk: hoe reconstructie werkt

Wanneer een knooppunt sterft in een erasure-coded systeem, reconstrueren de overgebleven knooppunten de verloren chunks. Voor een (10,4) Reed-Solomon-code reconstrueren elke 10 van de 14 chunks de originele 10 datachunks via matrixalgebra over een eindig veld. De reconstructiebelasting valt op overlevende knooppunten, dus het verliezen van 1 knooppunt in een cluster van 100 activeert leesbewerkingen van 10 andere knooppunten per verloren chunk. Bandbreedte tijdens herbouw is een grote operationele zorg. Systemen zoals Ceph beperken de herbouwsnelheid om de impact op productie-I/O te vermijden. Nieuwere codes zoals Local Reconstruction Codes (LRC, gebruikt door Azure) en Hitchhiker-codes verminderen de reconstructiebandbreedte door gedeeltelijke leesbewerkingen mogelijk te maken.

Staartlatentie en afgedekte verzoeken

Gedistribueerde systemen hebben lange staarten. Een verzoek dat een trage schijf of gecongestioneerd netwerk treft, kan 10 keer de mediaan duren. Googles paper "The Tail at Scale" (Dean & Barroso, 2013) formaliseerde technieken: afgedekte verzoeken sturen dubbele leesbewerkingen naar twee knooppunten en annuleren welke verliest; verbonden verzoeken coördineren zodat alleen één daadwerkelijk uitvoert. Ceph, DynamoDB en Spanner gebruiken allemaal variaties hiervan. Voor bestandsoverdrachtsystemen verlaagt het parallel lezen van een object via meerdere replica's en de eerste reactie nemen de p99-latentie drastisch tegen de prijs van iets meer bandbreedte.

Praktische implicaties voor bestandsoverdrachtsservices

Een bestandsoverdrachtsservice bouwt doorgaans op objectopslag in plaats van een POSIX-bestandssysteem. S3-compatibele backends — AWS S3, Cloudflare R2, MinIO — verzorgen duurzaamheid en schaal zonder dat het team Ceph of GlusterFS beheert. De service voegt auth, presigned URLs, metadata en gebruikersgerichte functies toe. HexaTransfer gebruikt een S3-compatibele backend met client-side AES-256-GCM-versleuteling, zodat de gedistribueerde opslaglaag duurzaamheid verwerkt terwijl de applicatielaag bestandsinhoud privé houdt voor elke laag.

Probeer het op https://hexatransfer.com — gratis, geen account, maximaal 10 GB.