फ़ाइल लाइफसाइकल मैनेजमेंट: निर्माण से डिलीशन तक

File lifecycle management define करता है कि हर file के साथ हर stage पर क्या होता है: created (tagged, classified, encrypted), actively used (hot storage में, versioned, access control में shared), inactive (30-90 दिनों पर IA या cool tier में move), archived (Glacier Deep Archive या Azure Archive), और destroyed (cryptographic erasure plus audit record)। Well-designed lifecycle storage cost 60-80% कम करता है जबकि DPDP Act 2023 की धारा 8 (data fiduciary obligations), GDPR Article 5(1)(e) storage limitation, और HIPAA §164.316 retention satisfy करता है — सब policy के बजाय code के रूप में enforce होते हैं। Trick है policy को code के रूप में लिखना और petabytes पर apply करने से पहले small sample पर test करना।

Stage 1: Intent के साथ Creation

File का lifecycle creation पर शुरू होता है। इस moment पर set metadata बाद में सब कुछ determine करता है: retention class, confidentiality level, owner, project। Upload endpoint जो ये capture नहीं करता manual tagging force करता है जो कभी नहीं होती।

Ingest पर minimum metadata set:

• owner: AD/SSO user ID या service account
• created-by-app: वह system जिसने file लिखी
• content-class: document, log, media, backup, temp
• retention-class: sox-7y, hipaa-6y, temp-30d, indefinite
• confidentiality: public, internal, restricted, secret

PutObject time पर S3 Object Tags या Azure Blob Index Tags के माध्यम से embed करें। Lambda जो required tags validate करे और missing tags वाले uploads reject करे catalog को day one से clean रखता है।

Stage 2: Hot Tier में Active Use

Active use में files सबसे fast, सबसे expensive tier में रहती हैं: S3 Standard ($0.023/GB, ≈₹1.91/GB), Azure Hot ($0.0184/GB, ≈₹1.53/GB), GCS Standard ($0.020/GB, ≈₹1.66/GB)। Latency मायने रखता है (sub-100 ms), throughput मायने रखता है, और access patterns unpredictable हैं।

Active use के दौरान:

• Overwrites और accidental deletions catch करने के लिए versioning enabled
• Audit के लिए SIEM में flowing access logs
• KMS customer-managed keys से encryption
• External sharing के लिए Presigned URLs (max 7 days)

Hot tier में typical residence: 30-90 दिन। उससे आगे, access frequency आमतौर पर enough drop होती है कि cooler tiers pay off करें।

Stage 3: Warm Storage में Transition

30 दिन access के बिना, अधिकांश files Infrequent Access tiers में transition होती हैं: S3 Standard-IA ($0.0125/GB), Azure Cool ($0.0152/GB), GCS Nearline ($0.010/GB)। Retrieval latency sub-100 ms रहती है लेकिन retrieval cost आती है — S3 IA $0.01/GB retrieved charge करता है।

इस transition के लिए Lifecycle rule:

{
  "ID": "active-to-ia",
  "Status": "Enabled",
  "Filter": {"Prefix": "documents/"},
  "Transitions": [{"Days": 30, "StorageClass": "STANDARD_IA"}]
}

Minimum object size watch करें — S3 IA 128 KB per object charge करता है चाहे वह 4 KB हो। 128 KB से कम objects IA में Standard से ज़्यादा cost करते हैं। ObjectSizeGreaterThan: 131072 के साथ small objects को lifecycle rules से filter करें।

Stage 4: Long Tail के लिए Archival

90+ दिनों में untouched files rarely फिर touch होती हैं लेकिन retention requirements के अधीन हो सकती हैं। Cold archive tiers में move करें: S3 Glacier Flexible Retrieval ($0.0036/GB), S3 Glacier Deep Archive ($0.00099/GB), Azure Archive ($0.00099/GB), GCS Archive ($0.0012/GB)।

Retrieval delays significant हो जाती हैं:

• Glacier Instant Retrieval: milliseconds
• Glacier Flexible Retrieval: standard 3-5 hours, expedited 1-5 minutes
• Glacier Deep Archive: standard 12 hours, bulk 48 hours
• Azure Archive: 15 hours तक rehydration

Tier को realistic restore SLA से match करें। Quarterly audit files Deep Archive में मत डालें यदि auditors 24-hour notice देते हैं।

Stage 5: Retention Hold और Compliance

Regulations अक्सर files को business usefulness से आगे retain करने require करती हैं। SOX: 7 साल। HIPAA: 6 साल। SEC Rule 17a-4: 3-6 साल। DPDP Act 2023 की धारा 8(7): personal data केवल stated purpose के लिए necessary जितने समय तक, लेकिन धारा 13 erasure rights के exceptions के साथ।

Tag-driven retention और WORM storage से implement करें:

• retention-class tag lifecycle timing drive करता है
• S3 Object Lock with Compliance Mode retention period के लिए deletion prevent करता है — root भी नहीं delete कर सकता
• Legal hold tag (legal-hold: true) lifecycle transitions indefinitely freeze करता है
• Audit log सभी access और tag changes capture करता है

FINRA 4511 और SEC 17a-4(f) के तहत broker-dealers के लिए, WORM storage mandatory है। इसे wrong implement करना (उदाहरण के लिए Compliance Mode के बजाय Governance Mode) firms को seven-figure fines cost कर चुका है।

Stage 6: Secure Destruction

Eventual deletion lifecycle close करती है। "Secure" का मतलब data unrecoverable है और action documented है।

Approaches:

• Soft delete + delayed purge: deleted mark करें, 30 दिन बाद purge करें (recovery allow करता है)
• Cryptographic erasure: encryption key delete करें ताकि ciphertext noise बने
• Physical overwrite: DoD 5220.22-M three-pass write (केवल on-prem के लिए relevant)

Cloud object storage के लिए, cryptographic erasure practical method है। हर bucket या object class एक KMS key उपयोग करता है; key delete करने पर minutes के भीतर objects unrecoverable होते हैं। AWS, Azure, और GCP सभी इस pattern support करते हैं। CloudTrail equivalents के साथ deletion log करें।

Audit log requirement: object key, VersionId, timestamp, actor, reason code, और matched retention rule capture करें। Audit log उस data से longer रखें जिसे वह describe करता है — यदि 7 साल बाद files delete करते हैं, deletion log 10 साल रखें।

Cross-Lifecycle Sharing Handle करना

अलग lifecycle stages में files अलग तरह से share होती हैं। Active project file: editor permissions के साथ Drive link। Outside counsel को archived contract चाहिए: warm tier पर restore करें, presigned URL generate करें, engagement के बाद warm copy delete करें।

Archived files की one-off sharing के लिए, transfer tool archive system को external access grant करने की complexity avoid करता है। HexaTransfer AES-256-GCM end-to-end encryption और one-time link के साथ 10 GB तक भेजता है — archived file retrieve करें, भेजें, done। Archive untouched रहता है; counsel को IAM role provisioning के बिना जो चाहिए मिलता है।

Policy-as-Code Pattern

हर lifecycle rule Terraform, CloudFormation, Pulumi, या Bicep में encode करें। Console में कभी hand-click नहीं। Benefits:

• Pull requests के माध्यम से peer review
• Policy changes का version history
• terraform plan से dry-run
• Commit revert करके rollback

Example Terraform snippet:

resource "aws_s3_bucket_lifecycle_configuration" "docs" {
  bucket = aws_s3_bucket.docs.id
  rule {
    id     = "tiering"
    status = "Enabled"
    transition { days = 30  storage_class = "STANDARD_IA" }
    transition { days = 90  storage_class = "GLACIER_IR" }
    transition { days = 365 storage_class = "DEEP_ARCHIVE" }
    expiration { days = 2555 }
  }
}

Commit करें, review करें, apply करें। पहले dev bucket पर test करें। Production पर gradually filter prefixes expand करके roll out करें।

Lifecycle Effectiveness Measure करना

Monthly track करें:

• Tier से total storage (hot/warm/archive)
• Tier से cost
• Object age distribution
• Cold tiers से retrieval rate (high rate मतलब tiers wrong हैं)
• Deletion rate और reasons

S3 Storage Lens, Azure Cost Management, और GCP के storage insights सभी ये dashboards produce करते हैं। Healthy mature lifecycle: 10% hot, 20% warm, 70% archive, cold retrieval प्रति वर्ष 1% से कम। कुछ और मतलब policy को tuning चाहिए।

Lifecycle Design Exercise

नए workload के लिए lifecycle design करते समय, ये पाँच सवाल answer करें:

1. कौन सी regulatory retention apply होती है?
2. 30, 90, 365 दिनों के बाद realistic access pattern क्या है?
3. पुरानी file चाहिए होने पर acceptable restore time क्या है?
4. Deletion trigger क्या है — time, event, request?
5. Audit evidence requirement क्या है?

Answers tier schedule, retention locks, legal hold capability, और audit pipeline dictate करते हैं। कोई Terraform लिखने से पहले ये पाँच answers लें। अधिकांश lifecycle-gone-wrong stories उस team से शुरू होती हैं जिसने question phase skip किया और सीधे किसी और की policy copy करने गई।

hexatransfer.com पर आज़माएं — मुफ़्त, कोई अकाउंट नहीं, अधिकतम 10 GB।