Illustrationer fra digitalbevaring.dk Kulturarv i Petabytes Det Nationale Bitmagasin Bjarne Andersen, sektionsleder IT-bevaring Klaus Kjærgaard, sektionsleder IT-drift
Agenda Introduktion til Statsbiblioteket Bitbevaring er det backup? Bitmagasin-projektet Teknisk infrastruktur på Statsbiblioteket Bitbevaring som forretningsområde Spøgsmål
Statsbiblioteket Institution under Kulturministeriet Ca. 230ÅV heraf ca. 45ÅV i IT (20%) Nationalbibliotek sammen med KB Statens Mediesamling Statens Avissamling Netarkivet (med KB) Pligtaflevering
Digital kulturarv Statens Mediesamling Radio/TV ca. 1.150 Tbytes tilvækst på 350 Tbytes/år Netarkivet: ca. 300Tbytes tilvækst på 70Tbytes/år Statens Avissamling: Totalt Tilvækst på ca. 250Tbytes/år de næste 3 år Ca. 1.600 Tbytes tilvækst på 6-700 Tbytes/år
Bitbevaring er det backup? Vi kræver mere en storage/backup Autenticitet Vi skal kunne garantere at materialet er 100% identisk Flere kopier af al materiale Normalt 3 kopier fordelt på forskellige teknologier Adskilte kopier På fysisk adskilte lokationer Organisatorisk adskilt Løbende tjek af alle kopier Løbende migrering til nye systemer Trusted repository (ISO 16363) Kræver god dokumentation af alle facetter / rutiner / opgaver
Det Nationale Bitmagasin Strategiprojekt i 2008-2009 mellem SA, KB og SB Finansieret af Kulturministeriet Afdækning af overordnede krav Kilder & mængder Integritet Tilgængelighed Fortrolighed
Integritet Handler primært om sikkerhed Men handler ret hurtigt også om økonomi
Tilgængelighed Handler primært om performance Men ret hurtigt også om økonomi
Fortrolighed Handler også om sikkerhed Kan også blive dyrt Der kan være lovkrav hos organisationer
Implementeringsprojektet Overordnet arkitektur baserer sig på koncept om ben med kopier Mange typer Flere lokationer
Arkitektur Ben Koordinerende lag Protokol Klienter Services
Ben-karakteristika De enkelte ben kender deres eget indhold har autoritativ og komplet viden om deres eget indhold. kun kender til deres eget indhold er interne i forhold til bitmagasinet 3 typer af ben Basal storage kan være disk, bånd, optiske medier,.. Processing storage tilknyttet CPU-kraft til databehandling Afledt storage indeholder kun checksummer På de 3 institutioner findes der allerede flere forskellige typer
Koordinerende lag Valg faldet på JMS Java Message Service Afprøvet Standard Simpel logik Klient-libraries i mange teknologier Asynkron kommunikation Konkret bruges ActiveMQ
Protokol Basalt set en XML-besked-definition Input / Output mellem alle operationer Hvilke ben kan hvad Minimums API til fx ben Sikkerhed vha. certifikater Collection-settings per samling Kan udvides efter behov
Services Status service Overvåger et bitmagasins komponenter Alarm service Komponenter (fx ben) kan rapportere alarmer Integrity service Tjekker indhold på ben - automatisk AuditTrail service Opsamler information på alle ben om alle operationer
Klienter Applikationer der snakker med bitmagasin Snakker altid over det koordinerende lag Vil blive udviklet til forskellige formål Get Put AuditTrail Integrity Processing Kommandolinje / Web-services Kan udvikles i mange forskellige miljøer
Det Nationale Bitmagasin Tages i brug November 2012 på SB Open Source projekt https://sbforge.org/display/bitmag 3 partnere fortsætter samarbejdet Udviklingsprojekt Styregruppe Ressourcer Flere interesser fra både ind- og ud-land
Teknisk infrastruktur på Statsbiblioteket Bitbevaring som forretningsområde
Teknisk infrastruktur på Statsbiblioteket
Maskinstuen i Skejby Den ene del af vores magasin befinder sig i vores magasin i Skejby Vi har en 10 Gbit fiberforbindelse, der forbinder maskinstuen i Skejby med maskinstuen på SB Argumenterne for Skejby er geografisk og organisatorisk spredning Kan rumme både on-line, near-line ben og off-line ben
Magasindele i maskinstuen i Skejby Nitrogenslukning - aspirationsaktiveret Båndrobot fra ADIC segmenteret i 2, så den kan indeholde både off-line ben og produktionsbackup på hhv. LTO5 og LTO3 Diske fra EMC
Oracle SC3000 Vores nyeste robot 5 TB bånd med løfte om 10 TB Near-line ben
Brandslukningen Vi valgte nitrogen fordi det er naturligt forekommende og ufarligt for mennesker Iltindholdet i luften sænkes til 5%
Maskinstuen på Statsbiblioteket Statsbiblioteket Kælderplacering bagved bibliotekets skalsikring Kun adgang for udvalgte medarbejdere med kort og pinkode APC-kube med varm/kold gade Frikøling ved temperaturer under 14 grader Nitrogenslukning Aspirationsalarmering Diske fra EMC til on-line ben SUN-robot LTO3 til off-line ben SAN 10 Gbit forbindelse til maskinstuen i Skejby UPS til ca. 40 minutter ved 100%
APC-kuben Alt er skruet i kuben bortset fra robotten
Båndrobot L700 opgraderet til LTO3-teknik Off-line ben
Rumslukning Nitrogenbaseret
UPS Eaton Powerware 80 stk. bilbatterier
Brandskabe til off-line ben 5 skabe på Statsbiblioteket 3 skabe i Skejby
Brandskab Der er 13 hylder med 6 rækker á 15 bånd 1170 LTO3- eller LTO5 bånd 468 TB ved LTO3 1755 TB ved LTO5
Opsummering i principtegning af bitmagasinet
Bitbevaring som forretningsområde
Realiseret og prognose for unikke data Vækst til og med 2010 2011 2012 2013 2014 2015 2016 2017 Radio/TV 790 250 292 307 322 338 355 373 Netarkivet 180 75 90 108 130 156 187 224 SB andet (musik, eventide, cd, reklamefilm, retro,..) 141 30 30 30 30 30 30 30 Aviser 0 100 200 200 260 0 0 KB 12 8 8 SA 35 20 20 LARM De hvide programmer 0 10 DR DAT-samling 0 22 I alt vækst 1158 415 540 645 682 784 572 627 Akkumuleret til og med 2010 2011 2012 2013 2014 2015 2016 2017 Radio/TV 790 1040 1332 1639 1961 2299 2653 3026 Netarkivet 180 255 345 453 583 738 925 1149 SB andet (musik, eventide, retro,..) 141 171 201 231 261 291 321 351 Aviser 0 0 100 300 500 760 760 760 KB 12 20 28 28 28 28 28 28 SA 35 55 75 75 75 75 75 75 LARM De hvide programmer 0 10 10 10 10 10 10 10 DR DAT-samling 0 22 22 22 22 22 22 22 I alt akkumuleret 1158 1573 2113 2758 3439 4223 4794 5421
Der kommer flere og flere eksterne kunder Statens Arkiver og Det Kgl. Bibliotek var de første Aalborg Stadsarkiv, Københavns Stadsarkiv og Museum Sønderjylland blev de næste Lige nu laver vi tilbud til Dansk Filminstitut om at tage 435 TB ind efterfulgt af en årlig tilvækst på 315 TB
Prisliste Priserne på near-line er faldet, hvilket endnu ikke er afspejlet på vores hjemmeside, hvor dette indhold er sakset fra. http://www.statsbiblioteket.dk/produkter/facts_bitbevaring.pdf
Spørgsmål