Batch-upload optimalisatie: mappen sneller overdragen

De snelste batch-uploadstrategie: pak de map in één .zip (store-modus, geen compressie) en upload één groot object in plaats van duizenden kleine. Een map met 5.000 .jpg-bestanden van elk 500 KB telt 2,5 GB op, maar duurt 10-20x langer om individueel te uploaden dan als één archief van 2,5 GB, omdat elk klein bestand de volle TLS- en HTTP-overhead betaalt. Diensten met parallelle uploadondersteuning (HexaTransfer, Dropbox, rclone) helpen wanneer veel chunks groot zijn. Diensten zonder parallellisme winnen nog steeds op doorvoer zodra je kleine bestanden in één archief combineert. Voeg deduplicatie van per ongeluk dubbele bestanden toe, sla .DS_Store en Thumbs.db-rommel over, en je bent in een fractie van de naïeve tijd klaar.

Waarom duizenden kleine bestanden traag zijn

Elke bestandsupload over HTTPS draagt vaste overhead: TLS-handshake (herbruikbaar met connection keep-alive), HTTP-headers (~500 bytes), serverbevestiging en schijf-flush aan de ontvangende kant. Voor een bestand van 50 KB kan die overhead groter zijn dan het bestand zelf. Voor een bestand van 500 KB loopt de overhead op tot 10-20% van de totale bytes op de lijn.

Vermenigvuldig dat met 5.000 bestanden en je hebt de helft van de tijd aan metadata verbrand in plaats van aan lading. Daarom is het kopiëren van een grote map met veel kleine bestanden naar externe opslag altijd trager dan het kopiëren van één even groot archief.

Eerst archiveren, dan uploaden

De grootste versnelling voor mapuploads: comprimeer eerst tot één .zip-, .7z- of .tar-bestand. Voor reeds gecomprimeerde inhoud (foto's, video's, Office-documenten) gebruik je store-modus (geen compressie) — je krijgt het bundelvoordeel zonder de CPU-kosten. Voor tekst-zware mappen (logs, broncode) gebruik je standaardcompressie voor daadwerkelijke ruimtebesparing bovenop.

Commando's:

• macOS/Linux: zip -0 -r archive.zip folder/ voor geen compressie; zip -r archive.zip folder/ voor standaardcompressie.
• Windows: Rechtsklik op de map → Kopiëren naar → Gecomprimeerde (gezipte) map. Of gebruik 7-Zip met Toevoegen aan archief → Compressieniveau → Opslaan.
• Grote mappen: tar -cf archive.tar folder/ (geen compressie) of tar -czf archive.tar.gz folder/ (gzip).

Dedupliceer voor het archiveren

Mappen verzamelen dubbele bestanden na verloop van tijd. Ontwerpprojecten hebben "final_v2.psd", "final_v2_COPY.psd", "final_v2_BACKUP.psd" — dezelfde inhoud, andere namen. Een map van 20 GB krimpt routinematig tot 12 GB na dedup.

Tools: fdupes (Linux), rmlint (Linux/macOS), Duplicate File Finder (macOS), dupeGuru (cross-platform). De meeste werken door bestanden te hashen en identieke hashes te markeren. Controleer de resultaten, verwijder duplicaten, archiveer dan.

Voor fotografen volgt de catalogus van Lightroom al unieke foto's; exporteer alleen gemarkeerde selecties in plaats van hele opnamemappen.

Sla OS-rommel over

Elke macOS-map verzamelt .DS_Store-bestanden (verborgen metadata). Elke Windows-map draagt Thumbs.db. Linux .directory-bestanden verschijnen vanuit KDE. Deze voegen niets toe voor de ontvanger en doen alleen het archiefaantal opzwellen.

Bij zippen op macOS:

zip -r archive.zip folder/ -x "*.DS_Store" "__MACOSX"

Op Windows via 7-Zip sluit je patronen uit in de UI of op de commandoregel met -xr!Thumbs.db -xr!desktop.ini. Voor rsync-achtige overdrachten gebruik je --exclude='.DS_Store' --exclude='Thumbs.db'.

Parallelle chunked uploads

Wanneer de dienst dit ondersteunt, verzadigen parallelle HTTP-streams bandbreedte die één TCP-verbinding niet kan vullen op paden met hoge latentie. Het tus.io-protocol ondersteunt dit via gelijktijdige chunk-uploads. Clients zoals de tus-js-client-bibliotheek gaan standaard uit van één gelijktijdig verzoek, maar kunnen hoger worden geconfigureerd.

Voor intercontinentale uploads (bijvoorbeeld een Amerikaanse gebruiker naar een Europese dienst) verdubbelt of verdrievoudigt parallellisme de effectieve doorvoer. Voor lokale uploads verzadigt één stream meestal toch al de uploadbandbreedte, waardoor parallellisme niets toevoegt.

Chunk-grootte afstemmen

Grote chunks verminderen overhead per verzoek; kleine chunks herstellen sneller van netwerkstoringen. De afweging hangt af van je verbinding:

| Type verbinding | Voorgestelde chunk-grootte | |---|---| | Gigabit glasvezel, bekabeld | 32-64 MB | | Residentiële glasvezel, Wi-Fi | 10-20 MB | | Kantoor-breedband | 10 MB | | Mobiel 4G/5G | 2-5 MB | | Onstabiele/hotel-Wi-Fi | 1-2 MB |

De meeste consumentendiensten kiezen een verstandige standaard (5-10 MB) en stellen deze niet bloot. Commandoregel-tools (rclone, aws s3 cp, gsutil) laten je precies afstemmen.

Mapstructuur telt minder dan totaal volume

Een veelvoorkomende mythe: "diep geneste mappen vertragen uploads". Dat doen ze niet. Het archiefformaat plat paden tot string-headers, ongeacht diepte. Een map met 10.000 bestanden op 3 niveaus diep uploadt identiek aan een map met 10.000 bestanden op 10 niveaus diep zodra je archiveert.

Wat wel telt: het aantal individuele bestanden. 10.000 kleine bestanden plat is hetzelfde probleem als 10.000 kleine bestanden genest — archiveer ze.

Compressiestrategie per inhoudstype

• Gemengde foto's (.jpg/.heic): store-modus .zip. Geen CPU-verspilling.
• RAW-foto's (.cr3/.arw/.nef): store-modus .zip. Intern al gecomprimeerd.
• Videoprojecten (.mp4, .mov, .prproj): store-modus .zip.
• Broncode: 7z met LZMA2 voor maximale verhouding.
• Log-bestanden: 7z met LZMA2; verwacht 10-20x reductie.
• PDF's: store-modus. De meeste PDF's hebben interne compressie.
• Gemengde Office-documenten (.docx, .xlsx): store-modus. Dit is intern al ZIP-gecomprimeerde XML.
• Database-dumps (.sql): 7z met LZMA2. Uitstekende compressie.

Achtergrond versus voorgrond

Browser-uploads vereisen dat het tabblad open blijft. Het tabblad sluiten doodt doorgaans de upload. Sommige diensten bieden Service Worker-ondersteunde achtergronduploads die kort na het sluiten van het tabblad doorlopen, maar dit is onbetrouwbaar op mobiele browsers en in sommige enterprise browserprofielen.

Voor echt grote batch-uploads (100+ GB) winnen desktopclients, omdat ze als processen op OS-niveau draaien. rclone mount en synchroniseert naar elke grote cloud. De Dropbox-desktopclient plant uploads betrouwbaar in. Deze overleven laptop-dichtklappen en Wi-Fi-wissels op manieren waar browsers mee worstelen.

Voor batch-uploads onder 10 GB verwerkt een moderne browserdienst met chunked uploads via tus.io de werklast prima. HexaTransfers client-side encryptie voegt bescheiden CPU-overhead toe, maar beïnvloedt de doorvoer op huidige hardware niet wezenlijk.

Splits te grote batches

Wanneer je batch het plafond per overdracht van de dienst overschrijdt, splits je logisch in plaats van mechanisch. "Foto's per datum"-mappen voor een opname van een maand werken beter dan willekeurige byte-telling-splitsingen, omdat ontvangers kunnen verifiëren dat elke batch compleet is ("1-7 maart.zip", "8-14 maart.zip") in plaats van zich af te vragen of volume .005 ontbreekt.

Voor diensten zonder limieten per overdracht maar met sessielimieten voorkomen sequentiële uploads van meerdere archieven dat je gelijktijdige-upload-caps raakt.

Verifieer voordat je wegloopt

Grote batch-uploads zijn verleidelijk om te starten en te vergeten. Doe dat niet. Voordat je de laptop sluit:

• Bevestig dat de uploadpagina "voltooid" toont en niet "in uitvoering"
• Open de link in een andere browser of incognitovenster en verifieer de ervaring van de ontvanger
• Controleer of het archief correct opent (een gecorrumpeerde .zip tijdens upload is zeldzaam maar mogelijk)
• Bevestig dat de vervalinstellingen overeenkomen met wat je wilde

Vijf minuten verifiëren is beter dan morgen een ongemakkelijke e-mail waarin je vraagt of de ontvanger de bestanden heeft ontvangen.

Delta-sync voor herhaalde batches

Werk je een batch bij — bijvoorbeeld wekelijkse back-ups van een projectmap — dan is een volledige re-upload verspillend. Tools zoals rclone, rsync over SSH of speciale sync-clients dragen alleen gewijzigde bestanden over. Dit vereist persistente opslag (geen tijdelijke overdrachtsdiensten), dus het is een cloudopslagpatroon in plaats van een overdrachtspatroon.

Voor echte overdrachtsworkflows waarbij de ontvanger elke keer anders is, is volledig archiveren per batch de juiste aanpak.

Oordeel

De snelle route voor mapuploads: archiveer alles in één .zip (store-modus voor voorgecomprimeerde inhoud, echte compressie voor tekst), sla OS-rommel over, dedupliceer waar de moeite waard, en upload het enkele archief via een dienst die chunked hervatbare uploads ondersteunt. Voor zeer grote batches gebruik je een desktopclient. Het verschil tussen naïef "map direct uploaden" en het geoptimaliseerde pad is vaak 10x in verstreken tijd.

Probeer het op hexatransfer.com — gratis, zonder account, tot 10 GB.