Automatisering af dataarbejde 2.2

Relaterede dokumenter
GEKKO til dataarbejde. 3.1 Aftestning, kontrol og fejlretning

Kursus i databehandling i Gekko

Fordelingsnøgler for spz erne i foreløbige år

Definitionen af inputs in brancherne

EMMA-eksperimenter med Gekko

PCIM udnytter funktionstasterne. Funktionstasterne har følgende indhold:

Sektorpriser i ADAM. Prisdannelsen i ADAM

Sektorpriser i ADAM. Prisdannelsen i ADAM

Introduktion. Plan for ADAM-kursus. Modelgruppen Danmarks Statistik. ADAM-kursus 1

Introduktion. Introduktion

Introduktion til PCIM version 9.07

Mænd, Mus og Metadata

GEKKO til dataarbejde. 3.2 Test mod model

Introduktion til ADAM kørsler i PCIM

Introduktion. Plan for ADAM-kursus. Modelgruppen Danmarks Statistik. ADAM-kursus 1

Værktøjer fra værktøjskassen. Søren Breddam, Stevns Kommune

Denne artikel er en detaljeret gennemgag af det fundamentale i batchfiler til hjemmebrug :-) FEEL THE POWER! ;-)

Priser i ADAM. Prisdannelsen i ADAM

At gemme en opgave eller graf på TI-89 / Voyage 200 til senere brug eller til dokumentation på Pc.

Deltidsfrekvenser. Resumé:

GEKKO til dataarbejde. 5.1 Dokumentation og versionsstyring

Referat af møde mellem Databanker og de økonomiske storbrugere onsdag d. 2. november 2005

Kapitel 4 Løkker i C#

GIS indlæsning af kreditorer og betalingsform. Brugervejledning 1.0

Programmering. Det rent og skært nødvendige, det elementært nødvendige! Morten Dam Jørgensen

Guide til opdatering af Navision Stat med ny funktionalitet - nye objekter, datakonvertering, automatisk indlæsning af datafiler.

TYPO3 Nyhedsbrev. Version: 1.2 Tilpasset TYPO3: 4.2 Sidst opdateret: 20/ Copyright: IdeFA Gruppen

Indledning. På de følgende sider vises, primært i tegneserieform, lidt om mulighederne i PC-AXIS for Windows.

Virkefeltsregler i Java

Brugervejledning for Microstation til OpenSceneGraph konverter

Lineære sammenhænge, residualplot og regression

Reestimation af sektorprisrelationerne til ADAM Oktober 2015

Reestimation af sektorprisrelationerne til ADAM Oktober 2016

SAS formater i Danmarks Statistik

Reestimation af sektorprisrelationerne til brug for ADAM oktober 2012

Offentlige investeringer i kædede værdier for endelige år

Håndbog Til CPR services. Bilag 10 Opsætning af CPR klienten til understøttelse af forskellige installationstyper

Introduktion Indtastning Funktioner Scripts Optimering. Matlab

Peter Kellberg. Rundt om Danmarks Statistiks makroer. Design, Standardisering, Teknik

Faktorblok dec09 vs. apr08: Investeringer og beskæftigelse

Organisér dine referencer

Kom godt igang med Inventar registrering

Installationen af Designskabelonerne gøres ved at installere henholdsvis et lille program samt en række skrifttyper som bruges af skabelonerne.

Netkatalog upload. Forord: Formål:

Økonometri 1 Efterår 2006 Ugeseddel 11

Reformulering af Lagerrelationen

Indlæsning af tilskud fra UVM

Anvendelse af KL s skatte- og tilskudsmodel

MSI pakke til distribution af AutoPilot komponenter.

DIGITALE REFUSIONSSEDLER

Fil import og eksport

Principper bag dataarbejdet omkring ADAMs databank

DANSK SKOLEDATA APS. Tlf DSA-Ventelisten

Økonometri 1 Forår 2006 Ugeseddel 11

Brugerundersøgelse af Statistikbanken

Dokumentering af umbraco artikeleksport:

Data for banker og sparekassers rentestrømme

Dokumentation af programmering i Python 2.75

Mini brugerundersøgelse af Statistikbanken 2005

Moduler i Standard ML

Eksempel: Skat i år 2000

Programmering for begyndere Lektion 2. Opsamling mm

Brugerhåndbog. Del IX. Formodel til beregning af markedsandel og konkurrenceevne

Statistik FSV 4. semester 2014 Holdundervisning Uge 1: 4. februar Introduktion til Stata

Vejledning til LKdaekW.exe 1. Vejledning til programmet LKdaekW.exe Kristian Hertz

Installationsvejledning SAS Foundation 9.2 SAS Enterprise Guide 4.2. Windows Vista

Ratingsystem i PHP og MySQL

Jobafvikling i batch under Windows

Modellering af PSO i Adam oktober 2014

Visualiseringsprogram

Forelæsning Uge 2 Torsdag

SAS-programmering med sikkerhedsnet: FUTS (Framework for Unit Testing SAS programs)

Automatiseret ind- og udlæsning af tabeller fra en database

Oprette Aktiviteter, Møder, Tilbud, Produkter, Tilbud og Leverancer fra en import.

Vejledning til Klubadministratorer

Koden i denne guide vil kun virke i Flash MX 2003 og MX ikke ældre versioner!

AktivLog. Log program for EDR s 80m aktivitetstest. Af oz1gdi / 5p0o Steen Rudberg. AktivLog V af 11

Forelæsning Uge 4 Torsdag

My booking. Generelt. Forsiden. Version 9.0

Forelæsning Uge 4 Torsdag

Forelæsning Uge 2 Torsdag

GeoCAD brugermøde 2010

Programmering og Problemløsning, 2017

Fisher prisindeks for vareimporten,

Forholdet mellem kapitalværdi og kapitalmængde I

Flytte Thunderbird-adresser til din nye Outlook Exchange.

Om Statistikbanken nr 1: 2002

INTRO TIL GOOGLE DREV

Boliginvesteringer og reparation

Batch. Navision Stat oktober 2008 ØKO/LIM. Overblik. Indholdsfortegnelse. Målgruppe

Relation for tsuih der tager højde for skattenedslaget

REFERAT AF MØDE I FAGLIG FØLGEGRUPPE FOR GERDA

R / RStudio. Intro til R / RStudio

Introduktion til Oracle, Datalogi, RUC Af: Jens Lauterbach 2002

Arbejd videre med statistik

Forelæsning Uge 2 Torsdag

Guide til registerforskning

Vejledning til LKvaegW.exe 1. Vejledning til programmet LKvaegW.exe Kristian Hertz

Sammenligning af faktorblok og aggregeret produktionsfunktion for private byerhverv

Transkript:

- Ofte kan man ikke bruge data direkte som det ligger i input, fx statistikbank tabeller det skal transformeres - Transformation af data er fx nødvendigt hvis data - Er disaggregeret - Har manglende observationer - Har brud - Mangler skøn på seneste år - Det kan også være nødvendigt, at beregne afledte størrelser ud fra det oprindelige kildedatasæt. 1

Rækken af kommandoer for at transformere data kan fylde meget. Flere hundrede linjer eller mere. Tidsbesparende ikke at skulle skrive hele rækken af kommandoer og genopfinde beregninger, hver gang der er nye data. Gemte kommandoer fungerer også som vigtig dokumentation af beregningsmetoden. 2

Kommandofiler i Gekko To typer filer kan afvikles i Gekko -.gcm filer. Egentlige kommandofiler har som regel en vis længde - Indeholder kun Gekko kommandoer og kommentarfelter - Her foregår det egentlige dataarbejde - Bruges ofte gentagne gange for samme input skal det give samme output - Fungerer også som vigtig dokumentation -.ini filer. Ligger de i arbejdsmappen afvikles de automatisk når Gekko startes op - Indeholder kun Gekko kommandoer og kommentarfelter - Bruges som regel til initialisering af optioner, mappe-stier, makrovariabler, mv. - Mulighed for batch afvikling 3

Eksempel på.gcm fil // Initialisering CLS ; CLOSE * ; CLEAR ; // Lukker alle åbne databanker, clearer work MODE data ; TIME %per1 %per2 ; // per1 og per2 defineret i.ini fil IMPORT <tsd> nah1 ; // Beregninger OPEN <edit> b1 ; // Alle følgende beregninger lægges i Gekko banken b1 SERIES X = VP1D ; // = P.1 Produktion, løbende priser SERIES fx = FP1D ; // = P.1 Produktion, faste priser, kædede værdier SERIES px = X/fX ; // Afledt prisindeks CLOSE * ; // lukker alle banker og gemmer banken b1 i arbejdsbiblioteket 4

Eksempel på indhold i.ini fil Automatisering af dataarbejde 2.2 CLS ;RESET ; OPTION folder bank = c:\adam\bank\ ; // lokal bankmappe OPTION folder gcm = c:\adam\command\ ; // lokale kommandofiler DATE PER0 = 2012 ; // Sidste endelige år DATE PER1 = 2013 ; // Første år i opdatering DATE PER2 = 2015 ; // Sidste år i opdatering VAL ANTAL = 3 ; // Antal år der opdateres STRING OBK = c:\adam\data\obk' ; // OpdateringsBanK; STRING LIST = c:\adam\datop\lister' ; // Listefiler 5

Lister giver med et enkelt middel mulighed for at henvise til grupper af variable eller objekter - bruges fx når der skal udføres samme kommando over et sæt af flere variable. Ofte i kombination med FOR kommandoen. Eksempel på LIST og FOR kommandoerne i Gekko LIST erh = a, b, e, h, o, ne, nf, ng, nz, qf, qs, qz ; FOR i = #erh ; // henvis altid til defineret liste med foranstillet # SERIES px%i = X%i/fX%i ; // Henviser til elementer med %i END ; 6

IF kommandoen giver mulighed for at indføre betingede beregninger. Eksempel på LIST og FOR og IF kommandoerne i Gekko LIST erh = a, b, e, h, o, ne, nf, ng, nz, qf, qs, qz ; FOR DATE yy = 1966 to 2015 ; FOR i = #erh ; IF (fx%i[%yy]==0) ; SERIES px%i[%yy] = px%i[%yy-1]*1.02 ; ELSE SERIES px%i = X%i/fX%i ; END ; END ; END ; 7

Kommentarer i kommandofil skrives enten som // <tekst> Som udkommenterer resten af linjen. Eller /* <tekst> <mere tekst> */ Udkommenterer flere linjer. Alt mellem /* og */ opfattes som kommentar. Gekko fortolker ikke indholdet i kommentarfelter. Kommentarer har en vigtig rolle, da de kan hjælpe på læsbarheden og øge forståelsen af indholdet i kommandofilen. 8

Eksempel på struktur i datarevision/procedure Kommandofiler kan også køre andre kommandofiler. Det kan være en fordel ved store automatiserede kørsler. Fx kan kommandofilen datarev.gcm have følgende indhold Datarev.gcm RUN input.gcm ; // trin1: læser og tjekker input data RUN adamgr.gcm ; // trin2: Omregner til ADAM grupper RUN afledt.gcm ; // trin3: Beregner afledte RUN tilbank.gcm ; // trin4: Skriver beregnede variable til databank Fordelagtigt at opsplitte i trin: - genbrug af kommandoer - klar struktur - enklere at læse og fejlsøge 9

Opsamling - Transformation af data er ofte nødvendig og kan fylde mange linjer - Kommandofiler gemmer beregninger til senere brug og fungerer samtidig som dokumentation - To typer kommandofiler -.gcm egentlig transformation af data. -.ini bruges til initialisering af optioner og makrovariabler - God ide at modulopbygge større kørsler. - Løkker er meget praktiske og kan spare meget skrive/læsetid når der fx skal laves samme beregning over en række variabler. - Kommentarer er vigtigt redskab til at øge læsbarhed af kommandofil. 10