GEKKO til dataarbejde. 3.1 Aftestning, kontrol og fejlretning

Transkript

1 februar : - visualisering, udvælgelse, missings Eksempler Øvelser

2 Grundideen med dette modul er at det er fint at genbruge kode, som har virket før, og modulopbygget et længere opdateringsforløb, men en databank skal altid cleares for mistanke om at noget kan være gået galt undervejs, så vi skåner databankens brugere for konsekvenserne af diverse mulige uheld. En aftestningsplan skal foreligge og afvikling af den er et nødvendigt skridt inden databanken frigives og leveres videre. Hovedmidlerne til en effektiv aftestning: Missings, Tjek mod datamodel, Udvælgelse, Tabellering og Visualisering

3 GEKKO til dataarbejde Missings SERIES < > xxx = miss() rep * ; Når en databank skal opdateres så nulstilles alle variablers værdier med værdien missing, der i GEKKO er M, og vises med M (uden plinger) i output fra print-kommandoen. Missing-tegnet er afhængigt af det filformat som variablens værdier gemmes under: i prn-filer: NA, i tsd-filer (skrevet af AREMOS): E I CSV-filer forekommer en missing som det ingenting der er mellem to semikolonner uden tegn imellem! Variabler helt uden andet end missings kommer slet ikke med i en csv-fil. Efterhånden som databankens variabler får værdier for den åbne periode (dvs. i takt med at de enkelte moduler afvikles, i det samlede opdateringsforløb) så erstattes disse missing-tegn af tal-værdier. Derved kan vi tjekke om en variabel er blevet opdateret blot ved at teste om den fortsat har missing-værdi i den åbne periode. Se GEKKOkommandoen Findmissingdata.

4 run g:\datopgek\periode.gcm; list okt15all =#(listfile b:\modvar_okt15.lst); open<edit> b:\okt15misbnk as o; clear o; time 1966 %per2 ; for xx=#okt15all; series %xx = miss() rep *; end; close o; open<edit> b:\mol_obk; clear mol_obk; open<> b:\okt15misbnk as m; time 1966 %per2 ; copy m:* to mol_obk:*; close m; open %obk as o; time 1966 %per2 ; copy o:* to mol_obk:*; restart; mode data; sys 'copy b:\modvar_okt15.lst b:\modvar.lst'; list modvar = #(listfile b:\modvar.lst); close *; clear; open<first> b:\mol_obk; findmissingdata< >; list misvarx = #missingdata sort; list modvar= #(listfile b:\modvar.lst); list impmis=#misvarx&*#modvar; //list listfile 'b:\impmis2008_2012.lst' = #impmis sort; pipe 'b:\impmis2008_2012.lst'; list s_impmis = #impmis sort; for i = #s_impmis; tell'%i'; end; pipe con ; restart; mode data; Indhold af periode.gcm: DATE PER0 = 2012 ; // Sidste endelige år DATE PER1 = 2013 ; // Første år i opdatering DATE PER2 = 2015 ; // Sidste år i opdatering DATE PER3 = 2013 ; // Første foreløbige år (altid=#per0+1) DATE PER4 = 2012 ; // Sidste år inden opdatering (altid=#per1-1) DATE PER5 = 2016 ; // Første år for mekanisk fremskrivning (altid=#per2+1) DATE PER6 = 2018 ; // Sidste år for mekanisk fremskrivning DATE BASAAR = 2010 ; // NRs basisår STRING FEJL = 'nej'; STRING JN = 'n' ; STRING OBK = 'g:\datopgek\obk' ; // Rod-drev, -bibliotek og banknavn for dataopdatering ; STRING STI = 'g:\datopgek\' ; // Rod-drev og -bibliotek for dataopdatering ; STRING list = 'g:\datopgek\lister' ; // Sti til listefiler STRING DBK = 'obk' ; // Navn på databank (til aktuel modelversion) under dataopdatering ;

5 Testbetingelser kan formuleres som en data-(relations-)model for variabler der indgår i databanken. Derved kan vi på en nem måde tjekke et stort antal relationer mellem variablernes værdier. (Mere herom under kursusmodul 3.2!) F.eks. X_tjk = X (X1+X2+X3). Herefter laver vi en udvælgelse, hvor kun variabler udtages, der overtræder et vist afvigelseskriterium. Dette er med til at gøre aftestningen af databanken meget mere overskuelig, og fører til en hurtigere indkredsning af forhold der skal ses på. F.eks. Afvigelser over 1%. De udvalgte variabler (og deres tjek-variabler hvis værdier de skulle matche, hvis en relation er overholdt) vises på et print ved tabellering, og et mindre udvalg hvor imellem der kun gælder bløde testbetingelser udtages til visualisering med plot. F.eks. adfærdsrelationer.

6 // Kontrol af forskellige overordnede identiteter: close *; clear; mode data; RUN g:\datopgek\periode.gcm; time 1995 %per2; open %obk as eof; OPTION print prt pch=no; pipe b:\kontrol_ov.txt; //=====================================; // BNP, løbende priser: tell 'BNP, løbende priser:'; ADAM-variabel navne: Y : BNP, løbende priser fy : BNP, 2010-priser, kædede værdier py : implicit deflator for BNP py = Y / fy Cp, Co : privat hhv offentlig forbrug I : Investeringer, løbende priser E : Eksport, løbende priser M : import, løbende priser pri Y -( Cp + Co + I + E - M), Y, Cp,Co,I,E, M; // BNP, foregående års priser: tell 'BNP, foregående års priser:'; pri fy*py[-1] -( fcp*pcp [-1] + fco*pco [-1] + fi*pi [-1] + fe*pe [-1] - fm*pm [-1]),fY*py [-1],fCp*pcp [-1], fco*pco [-1], fi*pi [-1], fe*pe [-1], fm*pm [-1];

7 GEKKO til dataarbejde Data-relations-model Denne kan være mere eller mindre eksplicit. Men der gælder at desto mere eksplicit den kan gøres, des nemmere og hurtigere er det at tjekke den foreliggende databanks værdier, for konsistens. Kandidater til at indgå i denne data-relations-model er allehånde testbetingelser. Eksempelvis - Identiteter - Sumrestriktioner (f.eks. Sum over brancher, eller over sektorer) - Prisindeks * mængde (2010-priser, kædede værdier) = Værdi (i løbende priser) - Kædeaggregerings relationer: x*px[-1] = x1*px1[-1] + x2*px2[-1] - Definitioner. Det er hensigtsmæssigt at definere tjek-variabler for hver relation. Se eksempel. Forskellen mellem en variabels værdi og dens tjek-variabels værdi: er et residual.

8 GEKKO til dataarbejde Eksempel restart; read db; findmissingdata< > mylist; findmissingdata< >; // hvis der gælder en relation ml. // x og x1,x2 og x3: // x = x1 + x2 + x3, så dannes en // tjekvariabel til x: x_tjk series x_tjk = x1 + x2 + x3 ; // x x_tjk kaldes for et residual pri x, x_tjk, x x_tjk ; plot x, x_tjk ; // hvis en variabels (pynz) værdier // tjekkes visuelt mod en anden // variabels (py) værdier: plot pch(pynz), pch(py) ; <udvælgelses eksempel> <Table-eksempel>: Se under table i indbygget hjælp <datamodel eksempel> mymodel: Frml _I y = co+cp+i+e-m ; Frml _S Cp = a1*(y-t*y) + a0; Kommando input: Mode sim; Model mymodel; Sim<RES>; Menubjælke: utilities -> check residuals

9 SPØRGSMÅL?