DATAVASK HVAD DBC GØR VED POSTERNE PÅ VEJ NED I BRØND 3.5

Transkript

1 DATAVASK HVAD DBC GØR VED POSTERNE PÅ VEJ NED I BRØND 3.5

2 INDHOLD BRØND 3.5-FLOW-STRUKTUR I FORHOLD TIL BRØND 3.0 DE TRE FBS-INDLÆGGELSESFASER FORBEHANDLINGEN AF TOTALFILERNE RAPPORTERNE FEJLTYPER OG HVAD DER ER VIGTIGST AT RETTE (I PRINCIPPET ALLE)

3 Brønd produktion BASIS Biblioteket sender poster til DBC på alt hvad de har beholdninger på Biblioteks System fx DDElibra POSTHUS Brønd 3.0 prod fedora (poster) I Brønden ligger Basisposten mens bibliotekernes indsendte poster omdannes til en lokaldatastrøm på Basisposten Brønd 3.0 prod SolR- (indexer) Biblioteker kan i søgesammenhæng få udleveret både de poster, de selv har sendt ind og dem de har sendt beholdninger på Basisposter sendes til Update ved hver ajourføring i Basis CICERO FBS-bibliotekers lokalposter eller tilføjelser til Basisposter UPDATE (validering) Opdaterede Basisposter sendes til brønd 1xdagligt Råpost Repo Rummer Basisposter og Lokalposter samt bibliotekernes tilføjelser til Basisposter som Påhængsposter Efterbehandling Brønd 3.5 prod fedora Brønd 3.5 prod SolR Totaler fra folke- og skolebiblioteker Forbehandling Brønd produktion FBS-bibliotekernes beholdninger, i tilfælde hvor de bruger Basisposten uden ændringer, sendes til DBCs holdingsbase Holdings Item service Holdings item db

4 fbstest (fase 1, L0/L1, 1. rul) Totalfil med poster med beholdning trukket fra lokalkatalogen Forbehandling, opsplitning, tildeling af nyt testfaustnummer Dannelse af rapporter SLUT (posterne bruges ikke) Fbsstaging (fase 2, L2, 2. rul) Totalfil med poster med beholdning trukket fra lokalkatalogen Forbehandling, tildeling af nyt testfaustnummer Dannelse af rapporter RåpostRepo (påhængs- og lokalposter) Mulighed for flere fejlposter Efterbehandling (inkl. sammenskrivning af h/b-poster) Brønd 3.5 staging (displaybrønd) Fbsfinal (fase 3, L3, prod, 3. rul) Totalfil med poster med beholdning trukket fra lokalkatalogen Forbehandling, opsplitning, tildeling af nyt faustnummer Dannelse af rapporter RåpostRepo (påhængs- og lokalposter) Mulighed for flere fejlposter Efterbehandling (inkl. sammenskrivning af h/b-poster) Brønd 3.5 produktion (displaybrønd)

5 FORBEHANDLINGEN AF TOTALFILERNE Filerne sendes til DBC s posthus sammen med en transfil rammetjek af indpakningen For hver post flyttes lokale bogstavfelter (fx C45) op i de officielle felter samt lidt andet Hver posts faustnummer (001 *a) slås op i Basis (001 og 002 i poster) Hvis posten findes, og 009 er det samme, sammenlignes opstillingsdata som et samlet sæt: 008, 009, 038, 039, 100, 110, 239, 245, 652, 654 Derudover sammenlignes og bevares disse felter: 032, 087, 088, 089, 090, 091, 092, 093, 094, 095, 300, 440, 504, 523, 526, 530, 531, 534, 538, 559, 565, 600, 610, 631, 652, 666, 700, 710, 745, 795, 840 Hvis opstillingsdata og de udvalgte felter er ens med posten springes posten over Hvis nogle af disse felter IKKE er ens, dannes en påhængspost kun med opstillingsdata/felter Hvis posten IKKE findes, bevares den forbehandlede post men med nyt 9-cifret faustnummer Alle påhængsposter og nye lokalposter valideres med det nye udseende (fejlrapport dannes) Totalfilens ikke-fejlede faust- og idnumre og deres evt. nye faustnumre samles op i en rapport Alle ikke-håndterede lokale DDE-bogstavfelter samles op i en rapport For fase 2 og 3 lægges påhængsposter og lokalposter i RåpostRepo (tomme felter ) Posterne høstes ud af RR til displaybrønden inkl. sammen-merged og/eller h-post De mergede poster efterbehandles især sammenskrivning af hoved-bindposter (004-fejl ) Posterne indekseres og er klar til brug Normalt er det kun en lille del af posterne, der reelt ender som poster/lokalstrømme i Brønd 3.5

6 RAPPORTERNE Kan altid ses på ftp://ftp.dbc.dk/fbsout/ (underkataloger report-fbs_test, _staging, _prod) Brug firefox, da den er bedst til at sortere i rapporterne Poster der blev sprunget over (antal + hvilke id-numre) Poster der fejlede i valideringen (antal + hvilke (oprindelige) faustnumre) Poster der matchede BASIS-post så der ikke skal dannes hverken råpost eller påhængspost i Råpost-repositoriet (antal + faustnumre) Poster der fik nyt faustnummer (antal + gamle og nye faustnumre) Oprettede påhængsposter (antal + faustnumre) Oprettede lokale poster (antal + gamle og nye faustnumre) En resumé-rapport med antal poster i det ovennævnte grupper En csv-fil med sammenhæng mellem gamle og nye faustnumre (ikke-fejlede poster uanset om nummeret er ændret eller ej) ignored_records.txt failed_validations.txt basis_match.txt changed_faust_numbers.txt new_supplement_records.txt local_records_created.txt summary.txt old_and_new_fausts.csv Samt: ddelibra_unhandled.txt log.mailcontent.txt log.summary.txt log.identifier.txt

7 FEJLTYPER OG HVAD DER ER VIGTIGST AT RETTE 005*h does not contain a valid value:6 008*a does not contain a valid value:52 008*d does not contain a valid value:4 008*v does not contain a valid value:2 021*a does not contain a valid ISBN-10:4 illegal field: 022 is present:2 illegal field: 249 is present.:2 illegal field: 990 is present.:6 illegal field: 991 is present.:6 illegal subfield & present in 032.:2 illegal subfield a present in 009.:3392 illegal subfield g present in 009.:3392 illegal subfield g present in 245.:30 illegal subfield w present in 710.:318 illegal subfield x present in 710.:318 illegal subfield z present in 690.:8 illegal subfield å present in 745.:21 nonrepeatable subfield 002*a is repeated.:2 nonrepeatable subfield 008*v is repeated.:2 nonrepeatable subfield 526*a is repeated.:26 Et lille udsnit af log.summary.txt

8 FEJLTYPER OG RETTELSER - FORTSAT Ret alle fejl-poster allerede mellem fase 1 og fase 2 Overvej, om de lokale bogstavfelter stadig tjener et formål Alle poster der fejler ved fase 3-indlægningen skal hentes via Cicero efterfølgende Hvis faustnummeret ikke findes i csv-tabellen, tabes beholdningen og skal oprettes manuelt i Cicero Vær meget opmærksom på følgefejl bindposter fejler i efterbehandlingen, hvis hovedposten er afvist i valideringen Tomme felter SKAL rettes efter fase 1, da de fejler et dumt sted Det er den behandlede post, der valideres fx 2 x 245-felt kan skyldes et C45 i originalposten Systematic kan datavaske mange af de store fejlklumper mod betaling resten er op til jer

9 SLUTBEMÆRKNING Vi kan altid forsøge at give et svar på underlige resultater men vi kan desværre ikke køre om for fase 2 og fase 3. Det skyldes primært faust-udskiftningen og dannelsen af påhængs- og lokalposter.