Toplu yükleme optimizasyonu: klasörleri daha hızlı aktarın

Klasör yüklemeleri için en hızlı strateji şudur: klasörü store moduyla (sıkıştırma olmaksızın) tek bir .zip dosyasına paketleyin ve binlerce küçük dosya yerine tek büyük bir nesne yükleyin. 500 KB'lık 5.000 .jpg dosyası toplam 2,5 GB eder; ama her biri TLS ve HTTP ek yükünü tam karşılayan bu dosyaları tek tek yüklemek, aynı 2,5 GB'ı tek arşiv olarak yüklemekten 10-20 kat daha uzun sürebilir. Paralel yükleme desteği sunan servisler (HexaTransfer, Dropbox, rclone) parçaların büyük olduğu durumlarda avantaj sağlar. Paralelizm sunmayan servisler bile küçük dosyaları tek arşivde birleştirdiğinizde iş hacminde öne geçer. Yanlışlıkla çoğaltılmış dosyaları ayıklayın, .DS_Store ve Thumbs.db gibi işe yaramaz dosyaları atlayın; böylece aktarımı ham yüklemenin çok altında bir sürede tamamlarsınız.

Binlerce küçük dosya neden yavaş kalır

HTTPS üzerinden her dosya yüklemesi sabit bir ek yük taşır: TLS el sıkışması (bağlantı keep-alive ile yeniden kullanılabilir), HTTP başlıkları (~500 bayt), sunucu onayı ve alıcı taraftaki disk yazımı. 50 KB'lık bir dosya için bu ek yük dosyanın kendi boyutunu geçebilir. 500 KB'lık dosya için hat üzerindeki toplam baytın yüzde 10-20'si ek yüke gider.

Bunu 5.000 dosyayla çarptığınızda zamanın yarısını yük yerine meta veriye harcamış olursunuz. Birçok küçük dosyadan oluşan büyük klasörleri harici depolamaya kopyalamak her zaman eşdeğer boyuttaki tek bir arşivden yavaştır; asıl sebep budur.

Önce arşiv, sonra yükleme

Klasör yüklemelerinde en büyük hız kazancı: her şeyi önce tek bir .zip, .7z veya .tar dosyasına paketlemektir. Önceden sıkıştırılmış içerikler (fotoğraflar, videolar, ofis belgeleri) için store modunu (sıkıştırma yok) kullanın — CPU maliyeti olmaksızın paketlemenin avantajından yararlanırsınız. Metin ağırlıklı klasörler (loglar, kaynak kodu) için gerçek boyut tasarrufu sağlayan standart sıkıştırmayı tercih edin.

Komutlar:

macOS/Linux: Sıkıştırmasız için zip -0 -r arsiv.zip klasor/; standart sıkıştırma için zip -r arsiv.zip klasor/.
Windows: Klasöre sağ tıklayın → Gönder → Sıkıştırılmış klasör. Ya da 7-Zip ile Arşive ekle → Sıkıştırma düzeyi → Depola seçin.
Büyük klasörler: tar -cf arsiv.tar klasor/ (sıkıştırma yok) veya tar -czf arsiv.tar.gz klasor/ (gzip).

Arşivlemeden önce yinelenenleri temizleyin

Klasörler zamanla yinelenen dosyalar biriktirir. Tasarım projelerinde "final_v2.psd", "final_v2_KOPYA.psd", "final_v2_YEDEK.psd" gibi dosyalar görülür — aynı içerik, farklı isimler. 20 GB'lık bir klasör, yinelenenler silindikten sonra rutin olarak 12 GB'a inebilir.

Araçlar: fdupes (Linux), rmlint (Linux/macOS), Duplicate File Finder (macOS), dupeGuru (çapraz platform). Çoğu araç dosyaları hash'leyerek özdeş hash'leri işaretler. Sonuçları gözden geçirin, yinelenenleri silin, ardından arşivleyin.

Fotoğrafçılar için Lightroom kataloğu benzersiz fotoğrafları zaten izler; tüm çekim klasörleri yerine yalnızca işaretlenmiş seçimleri dışa aktarın.

İşletim sistemi artıklarını atlatın

Her macOS klasörü .DS_Store dosyaları (gizli meta veri) biriktirir. Her Windows klasöründe Thumbs.db bulunur. KDE kaynaklı .directory dosyaları da ortaya çıkabilir. Bunlar alıcıya hiçbir şey katmaz ve arşiv sayısını şişirir.

macOS'ta zip yaparken:

zip -r arsiv.zip klasor/ -x "*.DS_Store" "__MACOSX"

Windows'ta 7-Zip arayüzünde ya da komut satırında -xr!Thumbs.db -xr!desktop.ini ile dışarıda bırakın. rsync tarzı aktarımlarda --exclude='.DS_Store' --exclude='Thumbs.db' kullanın.

Paralel parçalı yüklemeler

Servis desteklediğinde paralel HTTP akışları, tek TCP bağlantısının yüksek gecikmeli yollarda dolduramadığı bant genişliğini doyurur. tus.io protokolü bunu eş zamanlı parça yüklemeleri aracılığıyla destekler. tus-js-client kütüphanesi varsayılan olarak tek eş zamanlı istek gönderir; ancak daha yüksek değerlere ayarlanabilir.

Kıtalararası yüklemelerde (örn. ABD'den Avrupa servisine) paralelizm etkin aktarım hızını iki-üç katına çıkarır. Yerel yüklemelerde tek akış zaten yükleme bant genişliğini doyurduğundan paralelizm bir kazanım sağlamaz.

Parça boyutu ayarlaması

Büyük parçalar istek başına ek yükü düşürür; küçük parçalar ağ hatalarından daha hızlı toparlar. Denge bağlantı türüne göre şöyle özetlenebilir:

| Bağlantı türü | Önerilen parça boyutu | |---|---| | Gigabit fiber, kablolu | 32-64 MB | | Konut fiberi, Wi-Fi | 10-20 MB | | Ofis genişbantı | 10 MB | | Mobil 4G/5G | 2-5 MB | | Kararsız/otel Wi-Fi | 1-2 MB |

Tüketici servisleri genellikle makul bir varsayılan (5-10 MB) seçer ve bu ayarı kullanıcıya açmaz. Komut satırı araçları (rclone, aws s3 cp, gsutil) ince ayar yapmanızı sağlar.

Klasör yapısı toplam hacimden daha az önemli

Yaygın bir efsane: "Derin iç içe klasörler yüklemeyi yavaşlatır." Bu doğru değil. Arşiv formatı, derinlikten bağımsız olarak yolları dize başlıklarına düzleştirir. 3 düzey derinlikte 10.000 dosyalı bir klasör, arşivlendikten sonra 10 düzey derinlikte 10.000 dosyalı bir klasörle aynı şekilde yüklenir.

Asıl belirleyici faktör: tekil dosya sayısı. Düz 10.000 küçük dosya, iç içe geçmiş 10.000 küçük dosyayla aynı sorundur — arşivleyin.

İçerik türüne göre sıkıştırma stratejisi

Karma fotoğraflar (.jpg/.heic): Store modda .zip. CPU israfı olmaz.
RAW fotoğraflar (.cr3/.arw/.nef): Store modda .zip. Dahili olarak zaten sıkıştırılmış.
Video projeleri (.mp4, .mov, .prproj): Store modda .zip.
Kaynak kodu: Maksimum oran için LZMA2 ile 7z.
Log dosyaları: LZMA2 ile 7z; 10-20 kat küçülme beklenir.
PDF'ler: Store modu. Çoğu PDF'de dahili sıkıştırma vardır.
Karma ofis belgeleri (.docx, .xlsx): Store modu. Bunlar dahili olarak ZIP sıkıştırmalı XML.
Veritabanı dökümleri (.sql): LZMA2 ile 7z. Mükemmel sıkıştırma oranı.

Arka plan ve ön plan yüklemesi arasındaki fark

Tarayıcı tabanlı yüklemeler sekmeyi açık tutmayı gerektirir. Sekmeyi kapatmak çoğunlukla yüklemeyi iptal eder. Bazı servisler sekme kapandıktan kısa süre sonra devam eden Service Worker destekli arka plan yüklemeleri sunar; ancak bu özellik mobil tarayıcılarda ve bazı kurumsal tarayıcı profillerinde güvenilmez olabilir.

Gerçek anlamda büyük toplu yüklemelerde (100 GB+) masaüstü istemcileri tercih edilir; çünkü işletim sistemi seviyesinde süreç olarak çalışırlar. rclone büyük bulutlara bağlanıp senkronize eder. Dropbox masaüstü istemcisi yüklemeleri sıraya koyar. Bu araçlar tarayıcıların zorlandığı dizüstü kapağı kapama ve Wi-Fi geçişlerinde de çalışmaya devam eder.

10 GB altındaki toplu yüklemeler için tus.io üzerinden parçalı yüklemeleri destekleyen modern bir tarayıcı tabanlı servis işi görür. HexaTransfer'ın istemci tarafı şifrelemesi mütevazı bir CPU ek yükü katar; ancak mevcut donanımda aktarım hızını anlamlı ölçüde düşürmez.

Aşırı büyük toplu yüklemeleri bölme

Toplu yüklemeniz servisin transfer başına tavanını aşıyorsa mekanik değil mantıksal olarak bölün. "Tarihe göre fotoğraf" klasörleri, rastgele bayt sayısı bölümlerinden daha iyi çalışır; çünkü alıcılar her toplu yüklemenin eksiksiz olduğunu doğrulayabilir ("1-7 Mart.zip", "8-14 Mart.zip") ve herhangi bir cildin eksik olup olmadığını merak etmez.

Transfer başına limiti olmayan ama oturum limiti olan servislerde birden fazla arşivi sırayla yüklemek eş zamanlı yükleme kotalarına çarpmayı önler.

Ayrılmadan önce doğrulayın

Büyük toplu yüklemeleri başlatıp unutmak cazip gelir. Yapmayın. Dizüstünü kapatmadan önce:

Yükleme sayfasının "devam ediyor" değil "tamamlandı" gösterdiğini onaylayın
Bağlantıyı farklı bir tarayıcıda veya gizli pencerede açıp alıcının deneyimini kontrol edin
Arşivin düzgün açıldığını doğrulayın (yükleme sırasında bozulan .zip nadir olmakla birlikte mümkündür)
Son kullanma tarihi ayarlarının istediğinizle örtüştüğünü onaylayın

Beş dakikalık doğrulama, yarın "dosyaları aldınız mı?" diye atılan can sıkıcı bir e-postanın önüne geçer.

Tekrar eden toplu yüklemeler için delta senkronizasyonu

Toplu yüklemeyi güncelliyorsanız — diyelim ki haftalık proje klasörü yedekleri — tam yeniden yükleme israftır. rclone, SSH üzerinden rsync veya özel senkronizasyon istemcileri yalnızca değişen dosyaları aktarır. Bu kalıcı depolama gerektirir (geçici aktarım servisleri değil); dolayısıyla bu bir bulut depolama deseni, aktarım deseni değildir.

Her seferinde alıcının farklı olduğu gerçek aktarım iş akışlarında her toplu yüklemeyi tam arşivlemek doğru yaklaşımdır.

Sonuç

Klasör yüklemelerinde hızlı yol şudur: her şeyi tek .zip'e arşivleyin (önceden sıkıştırılmış içerik için store modu, metin için gerçek sıkıştırma), işletim sistemi artık dosyalarını atlayın, gerektiğinde yinelenenleri temizleyin ve tek arşivi parçalı sürdürülebilir yüklemeleri destekleyen bir servis üzerinden yükleyin. Çok büyük toplu yüklemeler için masaüstü istemcisi kullanın. "Klasörü doğrudan yükle" ile optimize edilmiş yol arasındaki fark çoğunlukla geçen sürede 10 katlık bir farka yol açar.

hexatransfer.com'da deneyin — ücretsiz, hesap gerekmez, 10 GB'a kadar.