Kulturarv i Petabytes

Transkript

1 Illustrationer fra digitalbevaring.dk Kulturarv i Petabytes Det Nationale Bitmagasin Bjarne Andersen, sektionsleder IT-bevaring Klaus Kjærgaard, sektionsleder IT-drift

2 Agenda Introduktion til Statsbiblioteket Bitbevaring er det backup? Bitmagasin-projektet Teknisk infrastruktur på Statsbiblioteket Bitbevaring som forretningsområde Spøgsmål

3 Statsbiblioteket Institution under Kulturministeriet Ca. 230ÅV heraf ca. 45ÅV i IT (20%) Nationalbibliotek sammen med KB Statens Mediesamling Statens Avissamling Netarkivet (med KB) Pligtaflevering

4 Digital kulturarv Statens Mediesamling Radio/TV ca Tbytes tilvækst på 350 Tbytes/år Netarkivet: ca. 300Tbytes tilvækst på 70Tbytes/år Statens Avissamling: Totalt Tilvækst på ca. 250Tbytes/år de næste 3 år Ca Tbytes tilvækst på Tbytes/år

5 Bitbevaring er det backup? Vi kræver mere en storage/backup Autenticitet Vi skal kunne garantere at materialet er 100% identisk Flere kopier af al materiale Normalt 3 kopier fordelt på forskellige teknologier Adskilte kopier På fysisk adskilte lokationer Organisatorisk adskilt Løbende tjek af alle kopier Løbende migrering til nye systemer Trusted repository (ISO 16363) Kræver god dokumentation af alle facetter / rutiner / opgaver

6 Det Nationale Bitmagasin Strategiprojekt i mellem SA, KB og SB Finansieret af Kulturministeriet Afdækning af overordnede krav Kilder & mængder Integritet Tilgængelighed Fortrolighed

7 Integritet Handler primært om sikkerhed Men handler ret hurtigt også om økonomi

8 Tilgængelighed Handler primært om performance Men ret hurtigt også om økonomi

9 Fortrolighed Handler også om sikkerhed Kan også blive dyrt Der kan være lovkrav hos organisationer

10 Implementeringsprojektet Overordnet arkitektur baserer sig på koncept om ben med kopier Mange typer Flere lokationer

11 Arkitektur Ben Koordinerende lag Protokol Klienter Services

12 Ben-karakteristika De enkelte ben kender deres eget indhold har autoritativ og komplet viden om deres eget indhold. kun kender til deres eget indhold er interne i forhold til bitmagasinet 3 typer af ben Basal storage kan være disk, bånd, optiske medier,.. Processing storage tilknyttet CPU-kraft til databehandling Afledt storage indeholder kun checksummer På de 3 institutioner findes der allerede flere forskellige typer

13 Koordinerende lag Valg faldet på JMS Java Message Service Afprøvet Standard Simpel logik Klient-libraries i mange teknologier Asynkron kommunikation Konkret bruges ActiveMQ

14 Protokol Basalt set en XML-besked-definition Input / Output mellem alle operationer Hvilke ben kan hvad Minimums API til fx ben Sikkerhed vha. certifikater Collection-settings per samling Kan udvides efter behov

15 Services Status service Overvåger et bitmagasins komponenter Alarm service Komponenter (fx ben) kan rapportere alarmer Integrity service Tjekker indhold på ben - automatisk AuditTrail service Opsamler information på alle ben om alle operationer

16 Klienter Applikationer der snakker med bitmagasin Snakker altid over det koordinerende lag Vil blive udviklet til forskellige formål Get Put AuditTrail Integrity Processing Kommandolinje / Web-services Kan udvikles i mange forskellige miljøer

17 Det Nationale Bitmagasin Tages i brug November 2012 på SB Open Source projekt 3 partnere fortsætter samarbejdet Udviklingsprojekt Styregruppe Ressourcer Flere interesser fra både ind- og ud-land

18 Teknisk infrastruktur på Statsbiblioteket Bitbevaring som forretningsområde

19 Teknisk infrastruktur på Statsbiblioteket

20 Maskinstuen i Skejby Den ene del af vores magasin befinder sig i vores magasin i Skejby Vi har en 10 Gbit fiberforbindelse, der forbinder maskinstuen i Skejby med maskinstuen på SB Argumenterne for Skejby er geografisk og organisatorisk spredning Kan rumme både on-line, near-line ben og off-line ben

21 Magasindele i maskinstuen i Skejby Nitrogenslukning - aspirationsaktiveret Båndrobot fra ADIC segmenteret i 2, så den kan indeholde både off-line ben og produktionsbackup på hhv. LTO5 og LTO3 Diske fra EMC

22 Oracle SC3000 Vores nyeste robot 5 TB bånd med løfte om 10 TB Near-line ben

23 Brandslukningen Vi valgte nitrogen fordi det er naturligt forekommende og ufarligt for mennesker Iltindholdet i luften sænkes til 5%

24 Maskinstuen på Statsbiblioteket Statsbiblioteket Kælderplacering bagved bibliotekets skalsikring Kun adgang for udvalgte medarbejdere med kort og pinkode APC-kube med varm/kold gade Frikøling ved temperaturer under 14 grader Nitrogenslukning Aspirationsalarmering Diske fra EMC til on-line ben SUN-robot LTO3 til off-line ben SAN 10 Gbit forbindelse til maskinstuen i Skejby UPS til ca. 40 minutter ved 100%

25 APC-kuben Alt er skruet i kuben bortset fra robotten

26 Båndrobot L700 opgraderet til LTO3-teknik Off-line ben

27 Rumslukning Nitrogenbaseret

28 UPS Eaton Powerware 80 stk. bilbatterier

29 Brandskabe til off-line ben 5 skabe på Statsbiblioteket 3 skabe i Skejby

30 Brandskab Der er 13 hylder med 6 rækker á 15 bånd 1170 LTO3- eller LTO5 bånd 468 TB ved LTO TB ved LTO5

31 Opsummering i principtegning af bitmagasinet

32 Bitbevaring som forretningsområde

33 Realiseret og prognose for unikke data Vækst til og med Radio/TV Netarkivet SB andet (musik, eventide, cd, reklamefilm, retro,..) Aviser KB SA LARM De hvide programmer 0 10 DR DAT-samling 0 22 I alt vækst Akkumuleret til og med Radio/TV Netarkivet SB andet (musik, eventide, retro,..) Aviser KB SA LARM De hvide programmer DR DAT-samling I alt akkumuleret

34 Der kommer flere og flere eksterne kunder Statens Arkiver og Det Kgl. Bibliotek var de første Aalborg Stadsarkiv, Københavns Stadsarkiv og Museum Sønderjylland blev de næste Lige nu laver vi tilbud til Dansk Filminstitut om at tage 435 TB ind efterfulgt af en årlig tilvækst på 315 TB

35 Prisliste Priserne på near-line er faldet, hvilket endnu ikke er afspejlet på vores hjemmeside, hvor dette indhold er sakset fra.

36 Spørgsmål