Ir para o conteúdo
HexaTransfer
Voltar ao blog
Transferencia de arquivos

Otimização de upload em lote: transfira pastas mais rápido

Otimize uploads em lote para máxima velocidade. Aprenda técnicas de upload paralelo e configurações para transferências em massa ultrarrápidas.

A estratégia mais rápida de carregamento em lote: empacotar a pasta num único .zip (modo store, sem compressão) e carregar um único objecto grande em vez de milhares de pequenos. Uma pasta com 5.000 ficheiros .jpg de 500 KB cada totaliza 2,5 GB mas demora de 10 a 20 vezes mais a carregar individualmente do que como um único ficheiro de 2,5 GB porque cada ficheiro pequeno paga a sobrecarga total de TLS e HTTP. Os serviços com suporte a carregamento paralelo (HexaTransfer, Dropbox, rclone) ajudam quando muitas partes são grandes. Adicione a desduplicação de ficheiros acidentalmente duplicados, ignore o lixo .DS_Store e Thumbs.db, e termina numa fracção do tempo ingénuo.

Por que milhares de ficheiros pequenos são lentos

Cada carregamento de ficheiro por HTTPS tem uma sobrecarga fixa: handshake TLS (reutilizável com keep-alive de ligação), cabeçalhos HTTP (~500 bytes), confirmação do servidor e flush de disco no lado receptor. Para um ficheiro de 50 KB, essa sobrecarga pode exceder o próprio tamanho do ficheiro. Para um ficheiro de 500 KB, a sobrecarga representa 10-20% do total de bytes na rede.

Multiplique por 5.000 ficheiros e gastou metade do tempo em metadados em vez de conteúdo. É por isso que copiar uma pasta grande com muitos ficheiros pequenos para armazenamento externo é sempre mais lento do que copiar um arquivo de tamanho equivalente.

Archive primeiro, carregue depois

A maior aceleração para carregamentos de pasta: comprimir tudo num único .zip, .7z ou .tar primeiro. Para conteúdo já comprimido (fotografias, vídeos, documentos de escritório), use o modo store (sem compressão) — obtém o benefício do agrupamento sem o custo de CPU. Para pastas com muito texto (registos, código fonte), use a compressão predefinida para poupança real de tamanho.

Comandos: macOS/Linux: zip -0 -r archive.zip folder/ para sem compressão; zip -r archive.zip folder/ para compressão predefinida. Windows: clique com o botão direito na pasta → Enviar para → Pasta comprimida. Ou 7-Zip: Adicionar ao arquivo → Nível de compressão → Armazenar. Pastas grandes: tar -cf archive.tar folder/ (sem compressão) ou tar -czf archive.tar.gz folder/ (gzip).

Desduplique e limpe o lixo do sistema operativo

As pastas acumulam ficheiros duplicados ao longo do tempo — projectos de design têm "final_v2.psd", "final_v2_COPIA.psd", "final_v2_BACKUP.psd" — mesmo conteúdo, nomes diferentes. Uma pasta de 20 GB pode rotineiramente encolher para 12 GB depois da desduplicação. Ferramentas: fdupes (Linux), rmlint (Linux/macOS), Duplicate File Finder (macOS), dupeGuru (multiplataforma). Para fotógrafos, o catálogo do Lightroom já acompanha as fotografias únicas — exporte apenas as selecções assinaladas.

Cada pasta no macOS acumula ficheiros .DS_Store (metadados ocultos); cada pasta no Windows tem Thumbs.db. Ao comprimir em macOS: zip -r archive.zip folder/ -x "*.DS_Store" "__MACOSX". No Windows via 7-Zip: -xr!Thumbs.db -xr!desktop.ini. Para transferências estilo rsync: --exclude='.DS_Store' --exclude='Thumbs.db'.

Carregamentos paralelos por partes e ajuste de partes

Quando o serviço suporta, os streams HTTP paralelos saturam a largura de banda que uma única ligação TCP não consegue preencher em caminhos de alta latência. O protocolo tus.io suporta isto através de carregamentos concorrentes de partes. Para carregamentos intercontinentais, o paralelismo duplica ou triplica o débito efectivo; para carregamentos locais, um único stream normalmente já satura a largura de banda.

As partes grandes reduzem a sobrecarga por pedido; as partes pequenas recuperam mais rapidamente de falhas de rede:

| Tipo de ligação | Tamanho de parte sugerido | |---|---| | Fibra gigabit, com cabo | 32-64 MB | | Fibra residencial, Wi-Fi | 10-20 MB | | 4G/5G móvel | 2-5 MB | | Wi-Fi instável/de hotel | 1-2 MB |

Estratégia de compressão por tipo de conteúdo

  • Fotografias mistas (.jpg/.heic): .zip em modo store. Sem desperdício de CPU.
  • Fotografias RAW (.cr3/.arw/.nef): .zip em modo store. Já comprimidas internamente.
  • Projectos de vídeo (.mp4, .mov, .prproj): .zip em modo store.
  • Código fonte: 7z com LZMA2 para rácio máximo.
  • Ficheiros de registo: 7z com LZMA2; espere redução de 10-20x.
  • Documentos de escritório mistos (.docx, .xlsx): modo store. São XML comprimido em ZIP internamente.
  • Dumps de base de dados (.sql): 7z com LZMA2. Compressão excelente.

Verificação, lotes muito grandes e sincronização delta

Os carregamentos em lote grandes são tentadores para disparar e esquecer. Não faça isso. Antes de fechar o portátil: confirme que a página mostra "completo" e não "em curso"; abra o link noutro navegador ou janela de navegação privada e verifique a experiência do destinatário; verifique se o arquivo abre correctamente (um .zip corrompido durante o carregamento é raro mas possível); confirme que as definições de expiração correspondem ao que queria.

Quando o seu lote excede o limite por transferência do serviço, divida de forma lógica em vez de mecânica. As pastas "Fotografias por data" para uma sessão de um mês funcionam melhor do que divisões arbitrárias por bytes — os destinatários conseguem verificar que cada lote está completo ("1-7 Março.zip", "8-14 Março.zip").

Para lotes recorrentes — cópias de segurança semanais de uma pasta de projecto — ferramentas como rclone, rsync via SSH ou clientes de sincronização dedicados transferem apenas os ficheiros alterados. Isto requer armazenamento persistente (não serviços de transferência efémeros), pelo que é um padrão de armazenamento na nuvem. Para transferências verdadeiras em que o destinatário muda cada vez, o arquivo completo de cada lote é a abordagem correcta.

Conclusão

O caminho rápido para carregamentos de pasta: archive tudo num único .zip (modo store para conteúdo já comprimido, compressão real para texto), ignore os ficheiros de lixo do sistema operativo, desduplique quando valer a pena, e carregue o único arquivo através de um serviço que suporte carregamentos retomáveis por partes. Para lotes muito grandes, use um cliente de secretária. A diferença entre o ingénuo "carregar pasta directamente" e o caminho optimizado é frequentemente de 10x no tempo decorrido.

Experimente em hexatransfer.com — gratuito, sem conta, até 10 GB.

Envie arquivos grandes com segurança e criptografia de ponta a ponta

Transfira arquivos de até 10 GB gratuitamente com criptografia de ponta a ponta. Sem necessidade de conta. Seus arquivos são criptografados no navegador antes do envio — ninguém mais pode lê-los.

Enviar um arquivo