스토리지 공간 최적화 클라우드 공간 확보

클라우드 스토리지 최적화는 네 가지 작업으로 청구액의 30~60%를 절감합니다. 고아 데이터 삭제, 동일 객체 중복 제거, 텍스트 중심 콘텐츠 압축, 콜드 데이터를 Glacier·Azure Archive·B2로 티어링. AWS S3에 100 TB를 저장하면 월 약 310만 원이 청구되지만, 최적화 후 약 110만 원으로 줄어드는 경우가 흔합니다. 필요한 파일을 하나도 잃지 않고도 가능한 절감입니다. 작업 대부분은 단조롭습니다. 인벤토리 → 분석 → 라이프사이클 규칙 적용. 절감 효과는 매달 복리로 쌓입니다. 압축부터 시작하지 말고, 측정부터 시작하십시오.

먼저 감사(Audit)하고 삭제하기

S3 Inventory, Azure Storage Analytics, GCS 버킷 잠금 리포트를 실행해 모든 객체의 매니페스트를 생성하십시오. 키, 크기, 최종 수정일, 스토리지 클래스, 태그가 포함됩니다. Athena, BigQuery, DuckDB에 로드한 뒤 쿼리를 실행합니다.

최적화되지 않은 버킷에서 흔히 발견되는 내용:

• 90일 이상 접근되지 않은 객체 20~40% (콜드 티어 후보)
• SHA-256 해시 기준 완전 중복 5~15%
• 생성한 애플리케이션이 사라진 고아 객체 10~20%
• zstd로 3:1 압축 가능한 텍스트·로그·JSON 30~50%

측정하지 않은 것은 고칠 수 없습니다. 초기 감사에 하루를 투자하면, 다음 한 달 최적화를 어디에 쏟아야 할지 명확해집니다.

명백한 낭비 먼저 삭제

정교한 작업 전에 존재하면 안 되는 것을 먼저 삭제하십시오. 대표적인 항목:

• 미완성 멀티파트 업로드 (S3는 명시적으로 중단하기 전까지 보관하며, 수년간 쌓이기도 합니다)
• 빈 객체 (0바이트이지만 메타데이터는 과금됨)
• 보존 정책을 초과한 로그 파일
• 임시 파일 (.tmp, ~$*, *.bak, .DS_Store, Thumbs.db)
• 실행됐다 잊힌 실험용 테스트 데이터

aws s3api list-multipart-uploads를 실행해 7일 이상된 항목을 중단하십시오. AbortIncompleteMultipartUpload 라이프사이클 규칙으로 이 작업을 영구 자동화할 수 있습니다.

Filter: prefix ""
AbortIncompleteMultipartUpload: DaysAfterInitiation: 7

페타바이트 규모 버킷에서 고아 멀티파트 업로드가 월 수백만 원의 비용을 초래한 사례가 실제로 있습니다.

중복 제거: 파일 수준 vs 블록 수준

파일 수준 중복 제거는 동일한 객체, 즉 같은 해시·같은 바이트를 제거합니다. rdfind, fdupes, jdupes 같은 도구가 디렉터리를 스캔하고 중복을 보고합니다. 클라우드 버킷의 경우 인벤토리 CSV를 처리해 SHA-256 기준으로 그룹화하고 해시당 정본(canonical) 하나만 유지하십시오. 중복은 정본 키를 참조하는 작은 JSON 포인터로 교체하거나, 참조되지 않는다면 단순 삭제합니다.

블록 수준 중복 제거는 ZFS, Btrfs, Veeam·Commvault·Rubrik 같은 전용 백업 제품이 수행합니다. 파일을 4~128 KB 블록으로 청크하고 각 블록을 해시해 유일한 해시 하나만 저장합니다. VM 백업 세트는 블록 수준에서 90% 중복이 발생하기도 해 10:1 압축이 가능합니다. 백업 버킷에는 의미가 있지만 일반 파일 스토리지에는 드물게 필요합니다.

파일 유형별 압축 전략

모든 파일이 압축되는 것은 아닙니다. JPEG, MP4, Zip은 이미 압축된 형식이므로 gzip을 실행해도 CPU만 낭비됩니다. 반면 텍스트 중심 형식은 극적으로 줄어듭니다.

• JSON 로그: gzip 80~90% 감소, zstd 85~92% 감소
• CSV 내보내기: 75~85%
• .docx (이미 zip): 5~10% (건너뜀)
• .xlsx: 10~15% (건너뜀)
• .pdf: 0~5% (건너뜀 — PDF는 내부 압축 보유)
• SQL 덤프: 85~90%

현대 파이프라인에는 zstd를 사용하십시오. 유사한 비율에서 gzip보다 2~3배 빠르게 압축 해제됩니다. S3로 로테이션하는 로그에는 compress_program=zstd 설정의 logrotate를 사용하면 대역폭과 스토리지 비용을 동시에 절감합니다. 이미 압축된 형식을 다시 압축하지 마십시오. 0.5% 이득은 CPU 비용을 정당화하지 못합니다.

접근 패턴별 티어링

핫 데이터는 빠른 스토리지, 콜드 데이터는 저렴한 스토리지에 두어야 합니다. S3 Intelligent-Tiering이 이를 자동화합니다. 30일 미접근 시 Infrequent Access($0.0125/GB, 약 17원/GB)로 이동하고, 90일 후 Archive Instant, 180일 후 Deep Archive로 이동합니다. 이 서비스는 모니터링 객체 1,000개당 $0.0025를 청구하므로 128 KB 미만의 소파일에는 오버헤드가 효율보다 큽니다.

결정적인 제어가 필요하다면 명시적 라이프사이클 규칙을 작성하십시오.

• 30일: Standard → Standard-IA
• 90일: Standard-IA → Glacier Instant Retrieval
• 365일: Glacier IR → Glacier Deep Archive
• 2,555일: 삭제 (legal-hold 태그가 없는 경우)

규칙은 이후 모든 업로드에 자동 적용됩니다. 100 TB가 연령별로 고르게 분산된 버킷은 모두 Standard에 유지하는 것과 비교해 월 약 200만 원을 절감할 수 있습니다.

소파일 오버헤드 처리

모든 클라우드 사업자는 최소 청구 객체 크기를 적용합니다. S3 Standard-IA는 객체가 4 KB여도 128 KB 최솟값으로 청구하고, Glacier Instant Retrieval도 마찬가지입니다. Glacier Flexible과 Deep Archive는 Standard-IA 요금으로 객체당 40 KB 메타데이터를 청구합니다.

Standard-IA의 4 KB 파일 1,000만 개는 40 GB가 아닌 1.28 TB로 과금됩니다. 해결책: 티어링 전에 소파일을 월간 TAR 또는 ZIP 아카이브로 묶으십시오. tar czf 2026-12-logs.tar.gz logs/2026-12/는 수천 개 대신 객체 하나를 만듭니다. 검색을 위해 병렬 인덱스(파일명 → 오프셋 CSV)를 유지하십시오.

이미지·동영상 최적화

미디어가 스토리지를 지배하는 경우가 많습니다. 레거시 JPEG를 cwebp로 WebP(30% 소형화) 또는 avifenc로 AVIF(50% 소형화)로 변환하십시오. 동영상은 오래된 H.264 MP4를 H.265(HEVC) 또는 AV1로 재인코딩하십시오. 1 GB 1080p H.264 동영상은 화질 손실 없이 H.265에서 약 400 MB로 줄어듭니다.

이미지가 많은 CMS 사이트는 imagemagick 또는 ffmpeg로 일회성 일괄 변환을 실행하고, 원본을 Deep Archive에 보관하며 최적화된 버전을 서비스하십시오. Cloudflare Images와 AWS CloudFront Image Optimizer는 요청 시 변형을 즉석에서 생성하므로 정본 하나를 저장하고 리사이즈·재인코딩된 버전을 제공할 수 있습니다.

클라우드 사일로 간 중복 감지

기업 환경에서는 같은 파일이 OneDrive, Google Drive, Dropbox, 회사 SharePoint에 흩어져 있는 경우가 흔합니다. 진정한 최적화는 사일로 간 중복을 찾는 것입니다. Varonis, Egnyte, rclone(--track-renames와 체크섬 비교)이 공급업체 간 파일을 해시해 중복을 플래그할 수 있습니다.

임시 통합, 즉 annual-report-2024.pdf의 흩어진 복사본을 정본 하나로 모을 때는 전용 전송 도구가 랩톱을 거치는 왕복 경로보다 효율적입니다. HexaTransfer는 최대 10 GB를 AES-256-GCM 암호화로 직접 전송하므로 또 다른 사일로를 거치지 않고 중복을 통합할 수 있습니다.

변화 측정

최적화 후 다시 측정하십시오. AWS Storage Lens, Azure Cost Management, GCP 비용 분류에서 감소가 확인돼야 합니다. 청구액이 내려가지 않았다면 무언가 반대 방향으로 움직인 것입니다. 객체를 Standard로 다시 전환하는 라이프사이클 규칙(실제로 발생합니다)이나 스토리지를 리전 전체에 3배로 늘리는 의도치 않은 복제를 확인하십시오.

스토리지 증가를 검토하는 월간 알림을 설정하십시오. 명확한 비즈니스 이유 없이 월 10%씩 성장하는 버킷은 보통 낭비를 쌓고 있는 것입니다. 분기별 2시간 점검으로 조기에 잡으면, 월 수천만 원의 청구서를 받은 뒤 벌이는 황급한 최적화 프로젝트를 피할 수 있습니다.

hexatransfer.com에서 사용해보세요 — 무료, 계정 불필요, 최대 10 GB.