Współpraca badawcza: udostępnianie plików między instytucjami

Jedna sesja cryo-EM produkuje 2 TB surowych danych .mrc — i żaden załącznik e-mail ani darmowy Dropbox tego nie przeżyje. Udostępnianie plików w ramach współpracy badawczej między instytucjami wymaga kanału obsługującego dane w skali terabajtów, respektującego różne umowy IRB i DUA, i funkcjonującego przez polityki sieciowe każdego laboratorium partnerskiego. Błędny wybór kanału grozi naruszeniem RODO i umów o przetwarzanie danych, co może skutkować kontrolą UODO lub unieważnieniem grantu.

Umowy o wykorzystaniu danych i ograniczenia IRB

Umowa o Wykorzystaniu Danych (DUA) między, powiedzmy, Politechniką Warszawską a Instytutem Maxa Plancka określa, które zbiory danych mogą opuścić instytucję, do kogo, w jakiej formie i na jak długo. Przed przesłaniem czegokolwiek sprawdź, czy DUA obejmuje konkretny zbiór danych (nie tylko „dane badawcze"), konkretnego odbiorcę i lokalizację przechowywania po transferze. W standardowej DUA dla danych de-identyfikowanych nadal wymagane jest szyfrowanie w tranzycie i w spoczynku. Pełne dane identyfikowalne zazwyczaj uruchamiają umowę Business Associate Agreement na mocy HIPAA, jeśli zaangażowane są dane zdrowotne z USA. Przechowuj podpisany PDF obok logów transferu.

RODO art. 46 i transgraniczne transfery badawcze

Przenoszenie danych badawczych z polskiej lub szerzej unijnej instytucji do partnera w USA przekracza granicę transferu RODO. Po wyroku Schrems II potrzebujesz zabezpieczeń z art. 46 — zazwyczaj Standardowych Klauzul Umownych (wersja z czerwca 2021) podpisanych przez obie instytucje, uzupełnionych Oceną Skutków Transferu. Europejsko-Amerykańskie Ramy Ochrony Danych certyfikowane przez Departament Handlu USA zapewniają podstawę adekwatności, jeśli odbiorca w USA samocertyfikuje się.

Pseudonimizacja zgodnie z art. 4(5) RODO — zastępowanie imion i nazwisk kodami przechowywanymi osobno — znacznie obniża kategorię ryzyka. Zastosuj szyfrowanie AES-256-GCM i zatrzymaj klucz po stronie UE do czasu potwierdzenia, że środowisko analizy odbiorcy spełnia unijne standardy. CSIRT NASK zaleca dodatkową weryfikację zabezpieczeń dla transferów wrażliwych danych badawczych przekraczających granice UE.

Rozmiary zbiorów danych i wybór protokołu

Jedna sesja cryo-EM: 2 TB surowych plików .mrc. Wycinek AOD z Wielkiego Zderzacza Hadronów: 500 GB. Pliki BAM sekwencjonowania całego eksomu: 10 GB na próbkę, a kohorta 500 próbek to 5 TB. Przy tych rozmiarach HTTPS przez kartę przeglądarki jest bolesny — potrzebujesz równoległych strumieni i wznawialnych punktów kontrolnych.

Globus zapewnia transfery endpoint-to-endpoint z automatycznym ponownym próbowaniem i weryfikacją sumy kontrolnej (MD5 lub SHA-256), a jego model fire-and-forget pozwala transferowi działać przez 18 godzin przez Atlantyk bez nadzoru badacza. Aspera (IBM) używa przyspieszenia UDP FASP i osiąga 10 Gbps przy latencji 200 ms, gdzie narzędzia oparte na TCP mają problemy. Dla wszystkiego poniżej 10 GB zaszyfrowane łącze przez HexaTransfer lub SwissTransfer jest szybsze do skonfigurowania niż żądanie endpoint Globus.

Przepływy pracy przy współpracy nad manuskryptami

Manuskrypty płyną inaczej niż zbiory danych. Szkic artykułu w LaTeX z wbudowanymi rysunkami waży 50 MB; po recenzji, śledzonymi zmianami recenzenta, uzupełniającymi tabelami Excel i korektą PDF rośnie do 400 MB. Overleaf i Authorea obsługują współpracę LaTeX w czasie rzeczywistym między instytucjami z historią wersji opartą na Git. Wyślij ostateczny pakiet do złożenia jako pojedynczy zaszyfrowany tarball — recenzenci i redaktorzy nie potrzebują komentarzy do szkicu ani wcześniejszych wersji rysunków. Dla preprintów na arXiv, bioRxiv czy SSRN przesyłanie jest publiczne z założenia, więc szyfrowanie jest nieistotne — ale transfer od współautorów do osoby składającej powinien być nadal zabezpieczony, zwłaszcza dla wyników objętych embargo.

Kontrola wersji zbiorów danych: DVC, Git LFS i DataLad

Git LFS obsługuje pliki do 5 GB na GitHub z modelem płatności za GB przepustowości powyżej limitu darmowego. DVC (Data Version Control) przechowuje duże pliki w backendzie S3, Google Cloud Storage lub Azure Blob i zapisuje w Git tylko skróty. DataLad, popularny w neuronauczyeniu, owija git-annex i synchronizuje między granicami instytucjonalnymi, śledząc która wersja jest lokalnie w każdym laboratorium. Dla trzyinstytucjonalnej współpracy nad współdzielonym zbiorem danych fMRI DataLad daje każdemu laboratorium lekki klon ze wskaźnikami — 4 TB sformatowanych BIDS plików NIfTI pozostają na zasobniku S3, a badacze pobierają tylko badanych, których analizują.

Uwierzytelnianie między federacjami

InCommon, eduGAIN i kategoria jednostki Research and Scholarship pozwalają badaczowi z Instytutu Maxa Plancka logować się do zasobu hostowanego na Politechnice Warszawskiej używając swojego domowego IdP. Asercje SAML 2.0 przenoszą minimalny zestaw atrybutów (eduPersonPrincipalName, przynależność, poziom pewności), więc system uczelni wie, że Dr Schmidt jest zweryfikowanym pracownikiem bez zarządzania jej hasłem. Dla usług poza federacją identyfikatory ORCID funkcjonują jako przenośny identyfikator badacza. Wymagaj dwuskładnikowego uwierzytelniania (TOTP, WebAuthn lub klucze sprzętowe FIDO2) dla każdego konta dotykającego identyfikowalnych danych z udziałem ludzi.

Kontrola eksportu i ograniczenia prawne

Nie wszystkie dane badawcze mogą legalnie przekraczać granice. Kontrolowane obronne badania ITAR i pozycje podwójnego zastosowania EAR wymagają licencji przed eksportem. Jeśli Twoje dane wchodzą pod EAR99 lub są „badaniami fundamentalnymi" zgodnie z NSDD-189, zazwyczaj jesteś wolny — ale decyzję podejmuje dział prawny, nie kierownik projektu. Serwisy transferu działające na serwerach w wielu krajach mogą nie spełniać wymagań „brak dostępu obcokrajowców"; sprawdź, czy Twój dostawca może dostarczyć zaświadczenie, że ładunek był obsługiwany wyłącznie przez infrastrukturę w dozwolonym kraju.

Praktyczna konfiguracja dla konsorcjum wielostanowiskowego

Typowe konsorcjum badawcze z trzech krajów zazwyczaj działa tak: (1) centralny ośrodek koordynacji danych przechowujący kopię autoryzowaną na AWS GovCloud lub instytucjonalnym HPC, (2) endpointy Globus w każdym miejscu dla masowego przenoszenia zbiorów danych, (3) REDCap dla metadanych klinicznych z eksportem zgodnym z HIPAA, (4) GitHub lub GitLab dla kodu analitycznego z DVC/Git LFS dla pośrednich artefaktów, (5) zaszyfrowany serwis transferu dla jednorazowych udostępnień manuskryptów, rysunków i eksploracyjnych podzbiorów, które nie uzasadniają konfiguracji endpoint.

Wypróbuj na https://hexatransfer.com — bezpłatnie, bez konta, do 10 GB. Dla doraźnego 8 GB uzupełniającego zbioru danych, którego Twój kolega w Tokio potrzebuje przed czwartkowym terminem: wklej, zaszyfruj, wyślij, gotowe.