Multi-cloud bestandsbeheer: voorkom vendor lock-in

AWS rekent $0,09 per GB uitgaand verkeer. Verplaats 50 TB en je betaalt $4.500 enkel aan bandbreedte — nog zonder de engineeringuren voor de migratie te tellen. Multi-cloud bestandsbeheer houdt de exitdeur open door data bij twee of meer providers op te slaan (zeg AWS S3 plus Cloudflare R2 plus Backblaze B2) achter één abstractie die elk van hen als geldig thuis voor een gegeven bestand beschouwt. De praktische opbrengst: bescherming tegen storingen bij leveranciers, onderhandelingsgewicht bij contractverlenging, en de mogelijkheid om egresskosten bijna nul te houden door per workload de juiste provider te kiezen. De technische ingrediënten: een S3-compatibele API als gemeenschappelijke taal, rclone of MinIO Gateway als overdraagbare client, een metadata-index (Postgres of DynamoDB-compatibel) die bijhoudt welke provider elk object herbergt, en een CI-afdwingbare inventaris van inloggegevens via HashiCorp Vault of AWS Secrets Manager.

Wat lock-in werkelijk kost

Lock-in is zelden één grote rekening — het zijn honderd kleine fricties. Zodra je code aws s3 cp gebruikt, us-east-1 hardcodeert, vertrouwt op S3 Select, of afhankelijk is van DynamoDB-streams, betekent migratie alles herschrijven. Egresskosten zijn de meest zichtbare belasting: AWS rekent $0,09 per GB voor de eerste 10 TB. 50 TB van AWS verplaatsen kost zo'n $4.000 aan bandbreedte, nog los van de engineeringtijd.

Minder zichtbaar: eigendomsgebonden functies zoals Glacier-kluissloten, Lambda-triggers op S3-events, of IAM Access Analyzer worden allemaal migratieprojecten. Multi-cloud gaat er niet over alles bij elke cloud te gebruiken — het gaat erom de deur open te houden zodat je prijs en betrouwbaarheid eerlijk blijven.

S3-compatibele API als gemeenschappelijk fundament

Vrijwel elke objectopslagprovider spreekt tegenwoordig de S3-API: AWS, Backblaze B2, Cloudflare R2, Wasabi, Google Cloud Storage (met interop-modus), Azure Blob (via gateway van derden), en self-hosted MinIO of Ceph RGW. Dat betekent dat één SDK ze allemaal afdekt:

import { S3Client, PutObjectCommand } from '@aws-sdk/client-s3';
const r2 = new S3Client({
  region: 'auto',
  endpoint: 'https://account.r2.cloudflarestorage.com',
  credentials: { accessKeyId, secretAccessKey }
});
await r2.send(new PutObjectCommand({
  Bucket: 'overdrachten', Key: 'bestand.zip', Body: stream
}));

Door je te beperken tot de S3-API-subset (PUT, GET, LIST, DELETE, multipart, presigned URLs) behoud je volledige overdraagbaarheid. Sla provider-specifieke aanroepen zoals s3:GetObjectLegalHold over tenzij je een plan hebt voor die functie op elke backend.

Providers abstraheren achter een router

Bouw een kleine router die logische paden naar fysieke buckets koppelt. In code is dat een functie:

interface Store { put(key, stream); get(key); delete(key); }
class MultiCloudRouter implements Store {
  constructor(private index: Index, private stores: Record<string, Store>) {}
  async put(key: string, stream: ReadableStream) {
    const provider = kiesProvider(key);
    await this.stores[provider].put(key, stream);
    await this.index.record(key, provider);
  }
  async get(key: string) {
    const provider = await this.index.lookup(key);
    return this.stores[provider].get(key);
  }
}

kiesProvider kan beleidsgestuurd zijn: regionale affiniteit, kostenlaag, replicatievereiste, of eenvoudige round-robin over providers. De index (Postgres-tabel of DynamoDB) is de enige bron van waarheid voor objectlocatie.

Kostenoptimalisatie over providers heen

Prijzen variëren sterk:

• AWS S3 Standard: $0,023 per GB opslag, $0,09 per GB egress
• Cloudflare R2: $0,015 per GB opslag, $0 egress
• Backblaze B2: $0,006 per GB opslag, $0,01 per GB egress
• Wasabi: $0,0069 per GB opslag, gratis egress (tot 1x opgeslagen volume per maand)
• AWS S3 Glacier Deep Archive: $0,00099 per GB opslag, $0,02 per GB egress plus ophaalvergoedingen

Een slim routeringsbeleid:

• Gebruikersgerichte downloads: R2 (gratis egress slaat alle concurrentie hier)
• Koud archief: S3 Glacier Deep Archive
• Regionale redundantie: B2 (goedkoop, betrouwbaar, ander bedrijfsrisico dan AWS)
• Compliance-kopie met lange bewaring: Wasabi met object lock

Voor een bestandsoverdachtservice die 50 TB per maand uitgaand verwerkt, bespaar je $4.500 per maand door egress van S3 naar R2 te verplaatsen voordat je verder nog iets doet.

Data gesynchroniseerd houden over providers

Voor kritieke data die je wilt repliceren over providers, gebruik je rclone's sync of bisync:

rclone sync r2:overdrachten b2:overdrachten-spiegel --transfers 16 --checksum

Voor continue replicatie: gebruik AWS S3 Cross-Region Replication (dat externe doelen ondersteunt via Lambda) of een wachtrijgebaseerde replicator: post elk PUT naar SQS/Kafka, consumer leest uit de wachtrij en schrijft naar de secundaire provider. Eventuele consistentie, met een RPO van minuten.

Repliceer niet alles. Repliceer alleen wat je niet opnieuw kunt aanmaken: bestanden die gebruikers hebben geüpload wel, build-artefacten waarschijnlijk niet, analyselogs die ook in je datawarehouse staan beslist niet.

Inloggegevensbeheer zonder voetangels

Multi-cloud betekent meer inloggegevens, en gelekte inloggegevens zijn hoe datalekken ontstaan. Twee praktijken:

• Gecentraliseerde geheimopslag: HashiCorp Vault, AWS Secrets Manager, of Google Secret Manager. Sla nooit sleutels op in Git; scan met gitleaks in CI.
• Kortlevende, beperkte tokens: geef de voorkeur aan STS-tokens boven permanente toegangssleutels. Beperk elke referentie tot één bucket en de minimaal benodigde acties.

Roteer automatisch op een 90-daagse planning voor langlevende sleutels, 1 uur voor STS. Tag elke sleutel met eigenaar, doel, en verlooptijd. Bekijk verweesde sleutels maandelijks.

Uniforme monitoring en logging

Observeerbaarheid over providers heen is belangrijker dan binnen één provider. Stuur alle provider-toegangslogboeken naar één bestemming:

• S3 Server Access Logs → CloudWatch → OpenSearch
• R2-toegangslogboeken → Cloudflare Logpush → S3 → OpenSearch
• B2 Event Notifications → webhooks → Loki

Uniforme dashboards tonen: verzoeken per provider, foutpercentages, p99-latency, egressbytes per bucket, kostenopbouw bijna in realtime. Alarmeer wanneer een enkele provider meer dan 2x de verwachte dagelijkse egress overschrijdt — een goed signaal voor gelekte presigned URLs of scrapermisbruik.

Governance en AVG-compliance bij multi-cloud

Multi-cloud vermenigvuldigt het compliance-oppervlak. Elke provider heeft zijn eigen gegevensverwerkingsovereenkomst, zijn eigen beoordeling als subverwerker, en zijn eigen auditspoor nodig. De Autoriteit Persoonsgegevens (AP) verwacht dat je deze verwerkersketen volledig gedocumenteerd hebt. Praktische stappen:

• Wijs elke gegevensclassificatie (openbaar, intern, vertrouwelijk, beperkt) toe aan toegestane providers
• Documenteer vestigingsplaats: AVG Artikel 44-overdrachten buiten de EU vereisen een geldig mechanisme (SCCs, adequaatheidsbesluit). Houd EU-gebonden data in de R2 EU-regio of OVH Object Storage.
• Volg subverwerkers bij. Wanneer een provider een nieuwe subverwerker toevoegt, kan je mogelijk klantmelding nodig hebben onder Artikel 28(2).
• Repliceer auditlogs weg van de primaire provider — een AWS-incident dat CloudTrail neerhaalt, mag je auditgeschiedenis niet meesleuren.

Een exitplan bouwen voordat je het nodig hebt

Een geloofwaardig exitplan heeft drie delen: een inventaris van elke afhankelijkheid, een getest migratiescript, en een budget voor egress. De inventaris omvat code, IaC (Terraform-modules vastgezet aan provider-specifieke resources), IAM-beleid, buckets en eventuele CDN-originconfiguratie. Migratiescripts moeten elk kwartaal in dry-run-modus uitvoerbaar zijn zodat ze niet verouderen.

Zelfs als je een provider nooit verlaat, betekent het bestaan van een geoefend plan dat contractverlengingsonderhandelingen gewicht dragen, en een onverwachte prijsverhoging of servicewijziging het team niet verlamt.

HexaTransfer draait op een S3-compatibele opslaglaag specifiek om de providerkeuze open te houden — een strategie die even goed werkt voor elk team dat grote bestanden verplaatst. Probeer het op hexatransfer.com — gratis, geen account vereist, maximaal 10 GB.

Wanneer multi-cloud overdreven is

Multi-cloud is niet gratis. Je betaalt in engineeringcomplexiteit, gedupliceerde tooling, en operationeel oppervlak. Voor teams kleiner dan 10 engineers met één product: kies één provider, onderhandel over volumeprijzen, en investeer de bespaarde complexiteit in het product. Multi-cloud verdient zijn kosten terug zodra je een van drie drempels bereikt: compliance vereist data-vestigingsplaats over jurisdicties, betrouwbaarheid vraagt om redundantie op providerniveau, of inkooponderbrekingskracht tegenover één leverancier is zakelijk relevant. Onder die drempels is één cloud met een schone abstractielaag en een gedocumenteerd exitplan doorgaans de pragmatische keuze.