European Space Agency współpracuje z Piql przy projekcie przetwarzania i zabezpieczania cyfrowych danych
The European Space Agency (ESA) wybrała Piql do wsparcia swojego projektu cyfrowego zabezpieczania historycznych zdjęć satelitarnych. Obejmuje to digitalizację danych z różnych nośników, obróbkę plików w celu długoterminowego przechowywania i bezpieczne przechowywanie w trybie offline.
PODSTAWY
ESA, z siedzibą we Frascati pod Rzymem we Włoszech, organizuje i archiwizuje szeroką gamę historycznych misji satelitarnych, sięgających poprzedniego stulecia. Instytucja, zatrudniająca ponad 700 pracowników, kładzie stały i silny nacisk na kwestie przyszłościowe w swoich strategiach digitalizacji i przechowywania danych.
Przemysł kosmiczny przywiązuje dużą wagę do zabezpieczania i udostępniania danych w celu zachowania przydatności informacji historycznych do celów badawczych i komercyjnych. Przezwyciężenie wyzwania związanego z przestarzałymi technologiami przy jednoczesnym wdrażaniu najlepszych praktyk w archiwach cyfrowych było stałym celem działu archiwalnego ESA.
Dane z przeszłych i obecnych misji kosmicznych ESA, obejmujące astronomię, planetologię i heliofizykę, są archiwizowane w Science Data Center ESA. Centrum danych zapewnia naukowcom innowacyjne usługi i narzędzia umożliwiające dostęp do danych. Posiada również dane z eksperymentów naukowych przeprowadzonych na platformach badawczych Human and Robotic Exploration na temat rakiet sondujących, obiektów naziemnych, w tym International Space Station, a także o misjach eksploracyjnych, takich jak ExoMars czy przyszłych misjach na Księżyc. Poprzez swój program HERITAGE DATA, ESA zapewnia cyfrową ochronę i dostęp do zarchiwizowanych danych satelitarnych. Archiwum ESA zawiera niezwykłą ilość informacji, z ośmioma petabajtami danych w różnych formatach historycznych wymagających możliwości zarządzania nimi również w przyszłości.
IDEA
Jako organizacja z informacji z dziesięcioleci różnych technologii, ESA nieustannie pracuje nad rozwiązywaniem problemów związanych ze przechowywaniem danych, cału czas utrzymując dostęp do treści historycznych, które mogą być wartościowym źródłem współczesnych analiz dla społeczności naukowych i komercyjnych.
Zbiory danych z szerokich zakresów czasu mają ogromne znaczenie dla określenia zmian klimatu naszej planety. Z tego powodu niezwykle ważne jest, aby dane satelitarne i inne dane z nauk o Ziemi zostały zachowane dla przyszłych pokoleń w dostępny i użyteczny po wielu latach sposób. Im starsze dane, choć trudniejsze do zachowania, tym stają się cenniejsze, zwłaszcza z przyszłościowej perspektywy.
Istotną częścią problemu ze starymi nośnikami pamięci i przestarzałymi strategiami archiwizacji był brak metadanych i dokumentacji dotyczącej treści. Wiele zarchiwizowanych informacji znajduje się również w starych formatach lub na nośnikach, które są trudne do odczytania, co stanowi poważny problem dla ich właścicieli. Ze względu na starzenie się technologii utrzymanie danych z długoterminowym dostępem może być poważnym wyzwaniem.
Ponadto organizacja otrzymała dodatkowe zasoby z dużą ilością niezidentyfikowanych treści, które wymagają digitalizacji pozwalającej na jej zrozumienie.
„Uważamy, że rozwiązaniem jest przechowywanie plików wraz z kodem źródłowym i specyfikacją formatu na tym samym nośniku. Ponadto musi być dostęp do danych niezależnie od istniejącego sprzętu lub oprogramowania”.
REALIZACJA
ESA wybrała firmę Piql do przeprowadzenia projektu pilotażowego mającego na celu cyfrowe zachowanie zbioru treści analogowych. Takie materiały jak film, mikrofilm, papier i niektóre niezidentyfikowane formaty zostało zdigitalizowane, zindeksowane i uporządkowane przez Piql z odpowiednią ekstrakcją metadanych w celu lepszej ich dostępności.
Dzięki bogatemu doświadczeniu w zakresie przechowywania danych, Piql dostosował usługę dla ESA, zgodną z normami ISO o archiwizacji, a także zapewniającą wysoką jakość digitalizacji. Piql przeprowadził również studium dotyczące formatów satelitarnych. Ta ocena pomoże obu instytucjom lepiej zrozumieć kompatybilność rozwiązań do przechowywania danych, jednocześnie wzbogacając ten proces o gromadzenie cennych informacji referencyjnych, formatów plików i metadanych na taśmie piqlFilm.
Wreszcie ważną częścią projektu jest zabezpieczenie zdigitalizowanych treści, a także innych ważnych zasobów cyfrowych na piqlFilm, niewymagającym migracji medium, które gwarantuje przyszły dostęp do cennych danych i metadanych w przyszłości.
Projekt rozpoczął się od 20 rolekpiqlFilm jako pierwsza faza projektu i został zakończony w pierwszej połowie 2020 roku.
PLANY
ESA wybrała model, w którym połowa treści będzie przechowywana na miejscu w ESA, a druga połowa bezpiecznie przechowywana w Światowym Archiwum Arktycznym, wzmacniając swoją długoterminową strategię ochrony.
Projekt ten wyznacza początek tego, co obie instytucje uważają za długie i udane partnerstwo na rzecz rozwoju wiedzy i kompetencji w zakresie przechowywania danych. Przyniesie to korzyści nie tylko społeczności badawczej, zapewniając dostęp do cennych danych satelitarnych przyszłym pokoleniom, ale także innym domenom społeczności zajmującej się konserwacją cyfrową.