연구 협업 기관 간 파일 공유

기관 간 연구 공유에는 테라바이트 규모 데이터셋을 처리하고, 각기 다른 IRB 및 데이터 이용 계약을 준수하며, 모든 파트너 연구소의 네트워크 정책을 통과할 수 있는 파일 채널이 필요합니다. 국립 연구소에서 GridFTP로 40Gbps 속도의 10TB 이상 유전체·물리학 데이터를 주고받는 고성능 영역은 Globus Online이 지배합니다. 원고, 중간 데이터셋, 50GB 이하 임시 전송의 경우 제로-지식 암호화 링크가 이메일 첨부 파일과 공유 Dropbox 폴더보다 뛰어납니다. 암호화된 데이터가 기관 방화벽을 통과할 때 어느 쪽 IT 팀도 계정을 화이트리스트에 추가하거나 신원을 연합할 필요가 없습니다.

데이터 이용 계약과 IRB 제약

스탠퍼드와 막스 플랑크 연구소 간 데이터 이용 계약(DUA)은 어떤 데이터셋이 어디로, 누구에게, 어떤 형태로, 얼마 동안 이동할 수 있는지를 명시합니다. 데이터가 이동하기 전에 DUA가 특정 데이터셋(단순히 "연구 데이터"가 아닌), 특정 수신자(박사의 연구실), 이전 후 저장 위치까지 포괄하는지 확인하세요. 표준 연방 시연 파트너십 DUA에서 식별자가 제거된 제한 데이터셋도 전송 중·저장 시 암호화를 요구합니다. PHI가 포함된 완전 식별 가능 데이터는 HIPAA 비즈니스 제휴 계약(45 CFR 164.504(e))을 추가로 촉발합니다. 서명된 PDF를 전송 로그 옆에 보관하세요.

GDPR 제46조와 국제 데이터 이전

EU 파트너에서 미국 협력자로 연구 데이터를 이동하면 GDPR 이전 경계를 넘습니다. Schrems II 이후에는 제46조 보호 조치가 필요합니다. 보통 양 기관이 서명한 표준 계약 조항(2021년 6월 버전)과 이전 영향 평가를 병행합니다. 상무부를 통해 자가 인증한 EU-미국 데이터 프라이버시 프레임워크도 적정성 근거를 제공합니다. 제4조(5) 의미의 가명화, 즉 이름을 별도로 보관되는 코드로 대체하면 위험 등급이 크게 낮아집니다. AES-256-GCM으로 암호화하고 협력자의 분석 환경이 EU 기준을 충족할 때까지 키를 EU 측에 보관하세요.

데이터셋 규모와 프로토콜 선택

단일 cryo-EM 세션은 원시 .mrc 마이크로그래프 2TB를 생성합니다. LHC AOD 슬라이스는 500GB입니다. 전체 엑솜 시퀀싱 BAM 파일은 샘플당 약 10GB이고, 500샘플 코호트는 5TB에 달합니다. 이 규모에서 브라우저 탭을 통한 HTTPS는 고통스럽습니다. 병렬 스트림과 재개 가능한 체크포인트가 필요합니다. Globus는 엔드포인트 간 자동 재시도와 체크섬(MD5 또는 SHA-256) 검증을 제공하며, 연구자가 지켜보지 않아도 대서양을 가로질러 18시간 전송을 완료합니다. Aspera(IBM)는 FASP UDP 가속을 통해 200ms 지연 링크에서 10Gbps를 달성합니다. 10GB 미만의 경우 HexaTransfer 같은 서비스를 통한 암호화 링크 하나가 Globus 엔드포인트를 요청하는 것보다 설정이 빠릅니다.

원고 협업 워크플로

원고는 데이터셋과 다르게 흐릅니다. 삽입 그림이 포함된 Nature 투고 초안의 LaTeX 파일은 50MB이고, 동료 심사 의견과 추적 변경사항, 보충 엑셀 표, PDF 교정본이 더해지면 400MB로 늘어납니다. Overleaf와 Authorea는 Git 기반 버전 이력으로 기관 간 실시간 LaTeX 협업을 지원합니다. 최종 투고 번들은 단일 암호화 tarball로 전송하세요. arXiv, bioRxiv, SSRN으로 향하는 프리프린트는 공개 배포가 설계 목적이므로 암호화는 불필요하지만, 공동 저자에서 제출 저자로 가는 사전 이전은 특히 엠바고 중인 결과물의 경우 여전히 암호화해야 합니다.

데이터셋 버전 관리: DVC, Git LFS, DataLad

GitHub의 Git LFS는 무료 티어 할당량 초과 시 GB당 요금을 내고 최대 5GB 파일을 처리합니다. DVC(Data Version Control)는 대용량 파일을 S3, Google Cloud Storage, Azure Blob 백엔드에 저장하고 해시만 커밋합니다. 신경과학에서 인기 있는 DataLad는 git-annex를 래핑해 기관 경계를 넘어 동기화하면서 누가 어떤 버전을 로컬에 갖고 있는지 추적합니다. 공유 fMRI 데이터셋에 대한 3개 기관 협업에서 DataLad는 각 연구소에 가벼운 클론과 포인터를 제공합니다. 4TB BIDS 형식 NIfTI 파일은 S3 버킷에 남고 연구자는 분석하는 피험자 데이터만 가져옵니다.

연합 간 인증

InCommon, eduGAIN, 연구·장학 엔터티 카테고리를 통해 막스 플랑크 연구원이 홈 IdP를 사용해 스탠퍼드 호스팅 리소스에 로그인할 수 있습니다. SAML 2.0 어서션은 최소 속성 번들(eduPersonPrincipalName, 소속, 보증 수준)을 전달해 스탠퍼드 시스템이 Schmidt 박사가 검증된 교수진임을 알 수 있습니다. 연합 외부 서비스에는 ORCID iD가 이식 가능한 연구자 식별자로 기능합니다. 식별 가능한 인간 피험자 데이터를 다루는 모든 계정에 2단계 인증(TOTP, WebAuthn, FIDO2 하드웨어 키)을 요구하세요.

수출 통제와 ITAR

모든 연구 데이터가 국경을 합법적으로 넘을 수 있는 것은 아닙니다. ITAR 통제 국방 연구와 EAR 이중 용도 품목은 수출 전 라이선스가 필요합니다. 중국 파트너와의 추진 시스템 물리학 협업은 15 CFR Part 744에 따라 완전히 차단될 수 있습니다. 데이터가 EAR99에 해당하거나 NSDD-189 의미의 "기초 연구"라면 통상 허용되지만, 그 판단은 PI가 아닌 법무 부서가 내립니다. 여러 나라에 서버를 운영하는 전송 서비스는 "외국인 접근 불가" 요건을 충족하지 못할 수 있으므로 벤더에게 미국 전용 인프라 사용 증명을 요청하세요.

다기관 컨소시엄의 실용적 구성

3개국 NIH U01 컨소시엄의 일반적인 구성입니다. 권위 있는 복사본을 보관하는 중앙 데이터 조정 센터(AWS GovCloud 또는 기관 HPC), 대용량 데이터셋 이동을 위한 각 구성원 사이트의 Globus 엔드포인트, HIPAA 준수 내보내기가 가능한 임상 메타데이터용 REDCap, DVC/Git LFS로 중간 아티팩트를 처리하는 분석 코드용 GitHub/GitLab, 그리고 엔드포인트 구성을 정당화하지 않는 원고·그림·탐색적 서브셋의 임시 공유를 위한 HexaTransfer 같은 암호화 전송 서비스입니다.

https://hexatransfer.com 에서 무료로 계정 없이 최대 10GB까지 이용하세요. 목요일 마감 전 도쿄 협력자에게 필요한 8GB 보충 데이터셋은 붙여 넣고 암호화하고 전송하면 끝입니다.