Kort og godt om test af arkiveringsversioner

Kort og godt om test af arkiveringsversioner Data og dokumenter fra den offentlige forvaltnings it-systemer, som skal bevares for eftertiden, skal afleveres til arkiv i form af arkiveringsversioner. Arkiveringsversioner skal udarbejdes efter reglerne i bekendtgørelse nr. 1007. I forbindelse med modtagelse tester Statens Arkiver alle arkiveringsversioner grundigt for at sikre, at data, struktur og dokumentation er i overensstemmelse med bekendtgørelsen samt den konkrete afleveringsbestemmelse, som er udstedt for indholdet af et givet system. Denne vejledning henvender sig til myndigheder og leverandører, som foretager den konkrete produktion og aflevering af arkiveringsversioner til Statens Arkiver. Den gennemgår i skemaform processen med modtagelse og test med henblik på at gøre det mere gennemskueligt, hvad der sker i processen fra du afleverer en arkiveringsversion til den bliver godkendt og lagret i Statens Arkivers bevaringssystem. Som bilag har vi udarbejdet en tjekliste over nogle af de mest almindeligt forekommende fejltyper, som giver anledning til, at arkiveringsversioner ikke kan godkendes. Vi anbefaler, at du gennemgår denne tjekliste nøje, inden du afleverer en arkiveringsversion med henblik på at gøre testprocessen så enkel som muligt. Hvad sker der ved modtagelsen? Statens Arkiver kvitterer for modtagelsen i form af en e-post, som sendes til den afleverende myndighed med kopi til evt. leverandør. Bemærk, at korrespondance sendes til hovedpostkasser, ikke navngivne medarbejdere. Hvad kan afleverende myndighed/leverandør gøre? Brug den standardiserede følgeseddel, som Statens Arkiver har udarbejdet det gør vores arbejde meget nemmere i forhold til kvitteringsskrivelse, journalisering m.v. Følgesedlen kan hentes på vores hjemmeside www.sa.dk For statslige myndigheder Aflevering af arkivalier Aflevering af data fra it-systemer Aflevering efter bekendtgørelse nr. 1007 af 20. august 2010 Vi gennemfører en initialtest, som kontrollerer, at de kontrolsummer, som er angivet i arkiveringsversionens Foretag selv et afsluttende tjek af arkiveringsversionen, inden den afsendes. Hvis der er sket ændringer i nogle af

fileindex.xml svarer til kontrolsummerne på de filer, der faktisk indgår i arkiveringsversionen. Såfremt der er uoverensstemmelse, vil vi returnere arkiveringsversionen uden yderligere test. Inden vi påbegynder en test af arkiveringsversionen gennemfører vi ligeledes en virustest. arkiveringsversionens filer i forbindelse med diverse tilretninger er det vigtigt, at du husker at få opdateret filens kontrolsum. Hvis der er mange ændringer, kan du evt. anvende testprogrammet ADA s funktion til at generere en ny fileindex.xml med nye kontrolsummer. Bemærk dog, at dette kan tage lang tid, så hvis der er tale om få ændringer, vil det oftest være hurtigere blot at udskifte de relevante kontrolsummer. Sørg for, at antivirusprogrammer altid er opdaterede Hvorfor varer det så længe, før der kommer et svar? Når initialtesten er gennemført, vil arkiveringsversionen ligge i kø, indtil der er tid til at teste den. Vi tester arkiveringsversionerne i den rækkefølge, vi modtager dem. Eftersom vi modtager rigtig mange afleveringer, skal du påregne en del ventetid, før vi kan sende et svar på testen. Testens varighed afhænger naturligvis også af den konkrete arkiveringsversions størrelse og kompleksitet. - Hvordan foregår testen? En af vores testmedarbejdere gennemfører en autotest, dvs. en test med testprogrammet ADA. Denne autotest resulterer i et antal testlogs, som danner udgangspunkt for det tilbagesvar, som testmedarbejderen sender til afleverende myndighed samt evt. leverandør. Forsøg selv at køre en ADA-test inden aflevering og tilret arkiveringsversionen inden aflevering. ADA kan hentes på Statens Arkivers hjemmeside. Bemærk for en ordens skyld, at vi løbende foretager fejlrettelse m.v. i ADA, og at det derfor ikke nødvendigvis er helt den samme version af ADA, som arkiveringsversionen vil blive testet med i Statens Arkivers testværksted.

Herefter gennemfører testmedarbejderen en visuel test, der bl.a. omfatter de tjekpunkter, som fremgår af bilaget til denne vejledning. Gennemgå tjeklisten på forhånd og gennemfør de nødvendige forbedringer og rettelser. Består Statens Arkivers test kun i en test for syntaktisk overholdelse af bekendtgørelse 1007? Nej, en række tests gennemføres for at få en overordnet vurdering af, om konvertering til arkiveringsversion er gået godt. Vi tester også for emner/problemstillinger, som ikke nødvendigvis er direkte forkerte i henhold til bekendtgørelsen, men som alligevel er opmærksomhedspunkter. Eksempelvis: Blanke dokumenter, herunder blank første side. Det er naturligvis ikke ulovligt at have blanke (helt hvide eller helt sorte dokumenter) i arkiveringsversionen, men hvis der er mange, giver det alligevel anledning til spørgsmål om, hvorvidt det er en fejl, der er opstået i forbindelse med produktion af arkiveringsversionen eller det faktisk afspejler indholdet af det pågældende system. Find på forhånd ud af, evt. ved hjælp af Ada, hvorvidt der kan forventes spørgsmål vedr. høj frekvens af blanke dokumenter, dokumenter uden tilhørsforhold til sag, osv. og vurdér, hvorfor dette er opstået. Det vil være en stor hjælp, hvis du beskriver sådanne problematikker i følgebrevet eller hvis det er aftalt med den arkivar, der har udarbejdet afleveringsbestemmelsen - i et dokument i arkiveringsversionens kontekstdokumentation. Ved test med ADA i Statens Arkiver er der en række tests, der kan slås til og fra. Visse af disse vil altid indgå i Statens Arkivers test, nemlig: For tabeller: Nøgletest (både primærnøgletest og fremmednøgletest) For dokumenter: Kompression Blank første side

Blanke dokumenter Derudover kan testmedarbejderen i visse tilfælde have behov for at teste for, om der findes private tags i tiff-filer, samt om der er dokumenter, der er meget store i arkiveringsversionen. Disse tests anvender vi kun, hvis vi søger forklaringer på forekomsten af unaturligt store og pladskrævende dokumenter. Hvad er et tilbagesvar? Et tilbagesvar er det brev, hvor Statens Arkiver gennemgår resultaterne af testen og hvad der skal laves om for at arkiveringsversionen kan godkendes. Et tilbagesvar indeholder Beskrivelse af fejl, der skal rettes som regel opdelt i resultater fra hhv. autotest og visuel test. Bemærkninger om, hvilke ændringer Statens Arkiver evt. har foretaget i metadata eller struktur i forbindelse med test. Som udgangspunkt foretages ingen rettelser, men det kan være nødvendigt i begrænset omfang at ændre navngivning af enkelte filer, rette skemahenvisninger eller tilrette datatyper osv. Hvis arkiveringsversionen er afleveret på USB-stick eller harddisk, vil den blive returneret med de beskrevne rettelser. Husk at bibeholde de af Statens Arkiver foretagne rettelser i forbindelse med genaflevering. Diverse spørgsmål Læs tilbagesvaret grundigt og læg mærke til, hvilke dele, der vedrører fejl, der skal rettes indeholder spørgsmål, der skal besvares indeholder information om eventuelle ændringer i metadata el. lign. Kontakt Statens Arkiver, hvis der er ting i tilbagesvaret, som du ikke forstår eller ønsker uddybet. Vær meget opmærksom på, om de beskrevne fejl udgør en udtømmende liste over fejl, eller om der er tale om eksempler på fejl, som fordrer at I laver en nærmere gennemgang af arkiveringsversionens beskrivelser eller data. Bemærk, at et tilbagesvar ikke altid kan være en udtømmende liste over alle fejl. I visse tilfælde er der strukturelle problemer i arkiveringsversionen, som skal løses før en egentlig test kan

gennemføres. I andre tilfælde er der tale om problemer, der optræder så hyppigt, at tilbagesvaret kun giver eksempler på, hvad der skal løses (dette kan eksempelvis være manglende beskrivelse af kolonner eller tabeller; manglende dokumentation af kodeværdier osv.) Hvad sker der ved godkendelse? Når arkiveringsversionen efter Statens Arkivers vurdering lever op til bekendtgørelsens krav, bliver den sendt videre til vores bevaringssystem, hvor vi lagrer den i flere eksemplarer på flere typer af medier og på flere lokationer. Når overførslen til bevaringslager er gennemført med succes, sender Statens Arkiver et godkendelsesbrev til myndighed og evt. leverandør. Først når dette godkendelsesbrev er modtaget, må myndigheden slette de data, der indgår i arkiveringsversionen.

Bilag: Tjekliste over typiske fejl. Bemærk, at mange af nedenstående fejl er semantiske/betydningsmæssige/indholdsmæssige fejl, som ikke findes ved en automatisk ADA-test. Nr. Tjekpunkter Handling 1 Er alle kolonner med kodeværdier defineret rigtigt? Sørg for at gennemgå data grundigt med henblik på at identificere kolonner, hvis indhold er en repræsentation for en fast og entydig værdi. Disse koder skal forklares gennem en opslags- eller kodetabel. Findes en sådan ikke allerede i it-systemet, skal den genereres i forbindelse med produktion af arkiveringsversionen. Såfremt du er helt sikker på, at det ikke giver problemer for relationerne mellem arkiveringsversionens tabeller kan du som alternativ til at lave en opslagstabel vælge at indsætte det faktiske indhold i kolonnen. Vær særligt opmærksom på kolonner med indhold af typen j/n eller lignende, som også skal være defineret korrekt. Er der kun to valgmuligheder, kan kolonnen evt. defineres med datatypen boolean. Betydningen af hhv. true og false skal være beskrevet i kolonnebeskrivelsen. Hvis der findes kodeværdier i data, som afleverende myndighed ikke kan opløse, f.eks. fordi data er modtaget fra en anden myndighed, skal dette anføres i kolonnebeskrivelsen.

Nr. Tjekpunkter Handling 2 Er alle tabeller og kolonner beskrevet? Gennemgå filen tableindex.xml grundigt og sørg for, at der er meningsfuld tekst i alle <description>-opmærkninger for alle tabeller og kolonner. Husk at opløse forkortelser! 3 Er der angivet enhed i relevante beskrivelser? Gennemgå filen tableindex.xml grundigt og sørg for, at enhed er angivet i alle relevante <description>-opmærkninger. Husk, at det i mange tilfælde ikke er selvindlysende, om en kolonne indeholder oplysninger om kroner, hele 1000 kroner, hektar, kvadratmeter, gram, kilo, meter, kilometer osv. Vær derfor meget opmærksom på at have enhedsangivelse med i kolonnebeskrivelsen alle steder, hvor det er relevant. 4 Er der overensstemmelse mellem beskrivelsen af dataindhold og det faktiske dataindhold? Sammenhold beskrivelserne med faktisk dataindhold er der overensstemmelse mellem beskrivelse og indhold? Står der eksempelvis CPR-nummer i beskrivelsen vil vi forvente et dataindhold i det korrekte CPR-format; står der modtager vil vi forvente et navn osv. 5 Er der anvendt korrekte datatyper? Gennemgå data og se, om der eksempelvis er kolonner med datoer eller numerisk indhold, der er defineret som noget andet, eksempelvis NATIONAL CHARACTER VARYING. Bemærk, at der ikke må anvendes videnskabelig notation (f.eks. 10 6 i stedet for 1.000.000) til angivelser af tal. Vær generelt opmærksom på at overholde W3C-datatyperne, herunder at bruge korrekt decimalmærke (punktum i stedet for komma).

Nr. Tjekpunkter Handling Tjek, at den angivne længde af kolonnen passer med det faktiske indhold. 6 Er der overensstemmelse mellem afleveringsbestemmelsen og arkiveringsversionen? Krydstjek afleveringsbestemmelse med arkiveringsversion: Indgår alle tabeller (hverken mere eller mindre), den korrekte kontekstdokumentation, de angivne views og SQL-forespørgsler osv.? Er navngivning af forespørgsler m.v. som beskrevet i afleveringsbestemmelsen? Bemærk, at afleveringsbestemmelsen anvendes som kontrolredskab af Statens Arkivers testværksted, og afvigelser vil resultere i, at vi ikke umiddelbart kan godkende arkiveringsversionen. Viser det sig under produktion af arkiveringsversion, at du har behov for at få ændret i udvalget af tabeller eller dokumentation, skal du kontakte den relevante arkivar i Statens Arkiver med henblik på eventuelt at få udstedt en revideret afleveringsbestemmelse. 7 Er der i tableindex.xml beskrevet de relationer mellem tabellerne, som fremgår af E/R-diagram eller anden dokumentation? Krydstjek, at de relationer, som fremgår af dokumentationen også er beskrevet korrekt i tableindex.xml 8 Er skemahenvisningerne i de enkelte tabelinstanser korrekte? Tjek, om henvisningerne i starten af de enkelte tabelinstanser er korrekte. En typisk fejl er, at man har brugt copy/paste, men glemt at tilrette tabellens nummer, så man i alle tabeller henviser til skemaet for table1. <table xsi:schemalocation="http://www.sa.dk/xmlns/siard/1.0/schema0/table1.xsd file:///x:/avid.sa.18000.1/tables/table1/table1.xsd" xmlns:xsi="http://www.w3.org/2001/xmlschema-instance" xmlns="http://www.sa.dk/xmlns/siard/1.0/schema0/table1.xsd">

Nr. Tjekpunkter Handling 9 I systemer med dokumenter: Er der opmærket de relevante funktionsbeskrivelser (<functionaldescription>). Tjek om alle relevante funktionsbeskrivelser er opmærket, herunder om der i arkiveringsversionen er en kolonne med angivelse af lagringsform, og om denne kolonne er opmærket med <functionaldescription>lagringsform </functionaldescription> i tableindex.xml? 10 Har alle nøgler/constraints unikke navne? Hvis ikke, skal navngivningen ændres. En de facto standard for navngivning af nøgler er: PK_[tabelnavn] for primærnøgler og FK_[navn på tabel, der peges fra]_[navn på tabel, der peges på]. 11 Forkert opmærkning af kolonner uden data for så vidt angår kolonner med andre datatyper end string. Hvis der er tomme kolonner af andre datatyper end string, skal du opmærke dem således (her er kolonnenummer 16 anvendt som eksempel): <c16 xsi:nil= true ></c16>, eller alternativt <c16 xsi:nil= true /> Bemærk, at kolonner med tomt indhold ikke må indgå i nøgler. 12 Svarer det angivne af antallet af rækker i tableindex.xml til det faktiske antal rækker i de enkelte tabeller? Tjek, at der er overensstemmelse. Hvis ikke, skal du undersøge, hvad forklaringen er og tilrette arkiveringsversionen i overensstemmelse hermed. 13 I arkiveringsversioner af systemer med dokumenter: Findes der dokumenter, der har opmærket parentid i docindex.xml? Det er ikke nødvendigvis en fejl, hvis der ikke er dokumenter, som har et parentid men i eksempelvis en arkiveringsversion, hvor der er mange dokumenter, der oprindeligt har været msg-, pst- eller eml-filer, vil det forekomme særdeles mærkeligt, hvis ingen af disse har haft vedhæftede filer.

Nr. Tjekpunkter Handling 14 Er alle dokumenter i kontekstdokumentationen knyttet til mindst én kategori i contextdocumentationindex.xml? Tjek i kontekstdokumentationsindekset, contextdocumentationindex.xml, at hvert dokument har mindst én markering af true til angivelse af kategori. 15 Kan de SQL-forespørgsler, som skal kunne afvikles på arkiveringsversionens tabeller (navngivning begynder med AV) faktisk afvikles? Forespørgslerne i arkiveringsversionen kan afprøves vha. ADA