Arquivo Automatizado de Ficheiros: Defina e Esqueça

O arquivo automatizado de ficheiros move ficheiros inativos do armazenamento quente para camadas frias de acordo com um calendário, sem que ninguém tenha de clicar em nada. As regras de ciclo de vida do S3, a Gestão de Ciclo de Vida de Blobs do Azure e o Ciclo de Vida de Objetos do GCS permitem escrever políticas como "após 90 dias sem acesso, mover para Glacier Deep Archive; após 7 anos, eliminar salvo se etiquetado com legal-hold." Configure uma vez, teste numa amostra de 1%, e o sistema recupera 50 a 80% dos custos de armazenamento cumprindo as regras de retenção — SOX 7 anos, HIPAA 6 anos, minimização de dados do RGPD — sem varreduras manuais.

Escolher o Gatilho: Idade, Acesso ou Etiqueta

Três gatilhos de arquivo dominam. As regras baseadas em idade (object.age > 90d) são as mais simples e funcionam para dados com decaimento temporal, como registos, transações ou exportações de correio eletrónico. As regras baseadas em acesso (S3 Intelligent-Tiering, que acompanha os timestamps do último acesso) são mais inteligentes para conjuntos de dados com padrões de acesso imprevisíveis — um ficheiro de auditoria financeira pode estar inativo durante 11 meses e ser crítico no 12.º.

As regras baseadas em etiquetas (tag retention-class = sox-7y) dão a utilizadores e aplicações controlo explícito. Uma equipa de conformidade pode marcar ficheiros com retention-class: hipaa-6y na ingestão, e as regras de ciclo de vida arquivam em conformidade sem alterar a regra quando as categorias evoluem. Combine-as: idade para o comportamento por defeito, etiquetas para as exceções.

Escrever a Política em YAML ou JSON

As configurações de ciclo de vida do S3 utilizam XML ou JSON; o Azure usa JSON; o GCS usa JSON. Uma regra S3 representativa para um repositório de documentos:

{
  "Rules": [
    {
      "ID": "archive-documents",
      "Status": "Enabled",
      "Filter": {"Prefix": "documents/"},
      "Transitions": [
        {"Days": 30, "StorageClass": "STANDARD_IA"},
        {"Days": 90, "StorageClass": "GLACIER_IR"},
        {"Days": 365, "StorageClass": "DEEP_ARCHIVE"}
      ],
      "Expiration": {"Days": 2555},
      "NoncurrentVersionExpiration": {"NoncurrentDays": 180}
    }
  ]
}

Versione a política no Git. Cada alteração revista num pull request, aplicada com Terraform ou CloudFormation, auditada no registo de CI. As políticas editadas manualmente na consola divergem e quebram.

Testar Antes de Produção

Uma política de ciclo de vida que elimina o bucket errado é prejudicial para a carreira. Teste primeiro num prefixo pequeno. Crie documents/test/ com ficheiros de amostra e uma política de teste dedicada que se aplique apenas a esse prefixo. Use durações curtas — Days: 1 — para exercitar as transições rapidamente.

Verifique os resultados com aws s3api list-objects-v2 --prefix documents/test/ e confirme que as classes de armazenamento mudaram conforme esperado. Depois amplie o filtro. Para buckets de alto risco (jurídico, financeiro), execute a política em modo de simulação se o fornecedor o suportar, ou simule com um script que reporte o que aconteceria sem aplicar alterações.

As Durações Mínimas de Armazenamento São Inegociáveis

As regras de ciclo de vida respeitam os encargos mínimos de duração de armazenamento. Mover um objeto para o Glacier Flexible Retrieval e eliminá-lo 7 dias depois ainda cobra 90 dias. O Deep Archive cobra um mínimo de 180 dias. Uma regra mal concebida que faz transições de objetos de Standard para Deep Archive até à eliminação em 30 dias paga três vezes — uma pela transição, uma pela duração mínima, uma pelo egress se restaurar.

O padrão seguro: só faça a transição para uma camada mais fria se esperar que o objeto aí permaneça pelo menos a duração mínima. Se os ficheiros são normalmente eliminados após 60 dias, não os coloque no Deep Archive (mínimo de 180 dias). Pare no Standard-IA.

Gerir Retenções Legais e Exceções

Cada sistema de arquivo precisa de uma saída de emergência para litígios. Uma etiqueta como legal-hold: true deve isentar objetos da eliminação por ciclo de vida. Implemente com um filtro de regra que exclua objetos etiquetados:

Filter:
  And:
    Prefix: "documents/"
    Tag: {Key: "legal-hold", Value: "false"}

Combinado com o S3 Object Lock em modo de Governação ou Conformidade, os objetos etiquetados com legal-hold tornam-se imutáveis até serem libertados. O modo de conformidade impede mesmo a eliminação pela conta raiz, que é o que os requisitos WORM do FINRA 4511, SEC 17a-4 e HIPAA §164.316 exigem.

Automatizar o Pipeline de Etiquetagem

O arquivo é tão bom quanto as etiquetas que o conduzem. Automatize a etiquetagem na ingestão: uma Lambda acionada pelo S3 ObjectCreated examina o ficheiro e aplica as etiquetas content-type, department, retention-class. Para dados existentes sem etiquetas, execute um trabalho de etiquetagem em lote com o S3 Batch Operations.

Fontes para valores de etiqueta:

Extensão do ficheiro e magic bytes (um .pdf com "HIPAA" nos metadados recebe a etiqueta healthcare)
Origem do carregamento (uma chave de API associada à aplicação de finanças etiqueta automaticamente finance)
Análise de conteúdo (o Amazon Macie deteta PII e etiqueta em conformidade)
Entrada do utilizador no carregamento (um formulário com um menu suspenso Departamento)

As etiquetas custam 0,01 EUR por 10.000 pedidos de etiquetagem no S3; vale o investimento para uma segmentação precisa do ciclo de vida.

Trilha de Auditoria do Arquivo

Registe cada ação do ciclo de vida. O CloudTrail captura os eventos LifecycleTransition e LifecycleExpiration. Encaminhe-os para o Athena, Splunk ou Datadog para um histórico consultável. Quando um auditor perguntar "quando é que este contrato de 2019 foi movido para o Glacier," a consulta deve devolver resultados em segundos.

Inclua no registo de auditoria:

Chave do objeto e VersionId
Transição de/para a classe de armazenamento
Gatilho (idade, etiqueta, explícito)
Timestamp
ID da política que correspondeu

Conserve o registo de auditoria pelo menos durante o tempo que os requisitos de retenção de dados exigem — se arquivar por 7 anos, conserve o registo de ciclo de vida por 7 anos mais uma margem.

Arquivo entre Regiões e entre Nuvens

Para recuperação de desastres, os arquivos devem residir numa segunda região ou nuvem. A Replicação entre Regiões do S3 pode ter como destino uma classe de armazenamento diferente no destino — replique para us-west-2 diretamente no Glacier Deep Archive. O Azure suporta algo semelhante com RA-GRS e replicação de objetos. O GCS tem multi-região e replicação turbo.

Para arquivo entre nuvens (AWS como primária, Backblaze B2 como secundária), o rclone com cron executa trabalhos de sincronização agendados. A cópia secundária proporciona independência face a interrupções específicas do fornecedor, ransomware que vise o IAM de um único fornecedor, ou disputas de faturação.

Arquivos Prontos para Recuperação

Um arquivo que não se consegue restaurar é apenas uma eliminação lenta. Documente o caminho de restauro para cada camada:

Glacier Instant Retrieval: GET direto, sem restauro necessário
Glacier Flexible Retrieval: RestoreObject com Tier=Standard (3-5 horas) ou Expedited (1-5 minutos)
Glacier Deep Archive: RestoreObject com Standard (12 horas) ou Bulk (48 horas)
Azure Archive: Set Blob Tier para Hot/Cool, reidratação em 15 horas

Pratique trimestralmente. Escolha um objeto arquivado aleatoriamente, restaure-o, verifique-o em relação ao hash do manifesto e cronometre todo o processo. Os restauros não testados são descobertos da pior forma durante incidentes.

Gerir Transferências de Arquivo Pontuais

O ciclo de vida automatizado gere o estado estacionário, mas por vezes é necessário mover imediatamente um lote específico de 50 GB — os ficheiros de um colaborador que saiu, o encerramento de um projeto com um cliente. Para estes casos, uma ferramenta de transferência manual com verificações de integridade supera a edição de políticas de ciclo de vida. O HexaTransfer move ficheiros até 10 GB com cifração AES-256-GCM ponta a ponta e uma ligação de utilização única, útil para entregar arquivos a advogados externos ou a um sucessor sem ter de lhes conceder acesso ao bucket de arquivo completo.

Configure a política de ciclo de vida, automatize a etiquetagem, encaminhe os registos de auditoria, e o sistema funciona autonomamente. Reveja o dashboard de custos trimestralmente; ajuste os limiares quando o padrão de acesso mudar. É tudo o que o arquivo precisa — uma vez configurado, requer menos atenção do que os pedidos de café.

Experimente em hexatransfer.com — gratuito, sem conta necessária, máximo de 10 GB.