Økonometri 1 Inferens i den lineære regressionsmodel 25. september 2006 Økonometri 1: F6 1
Oversigt: De næste forelæsninger Statistisk inferens: hvorledes man med udgangspunkt i en statistisk model kan drage konklusioner på grundlag af data, [ ] blandt andet punktestimation og intervalestimation af parametre samt metoder til afprøvning af statistiske hypoteser. (TSØ p. 238) Simulationseksperimenter (Note på hjemmesiden) Ideen med at lave simulationseksperimenter Opbygning af en simulationsalgoritme Eksempel: Den forventede startløn for en økonom Eksempel (ugeseddel 3): Alternativ middelret estimator β Resultater om OLS med endeligt antal observationer (kap. 4): Normalitetsantagelse (MLR.6). Test af en enkelt lineær restriktion på koefficienter i lineær regressionsmodel. Asymptotiske resultater for OLS: n (kap. 5). Test af flere lineære restriktioner (kap. 4.5 og 5.2). Økonometri 1: F6 2
Hvorfor simulationseksperimenter? Simulationseksperimenter kaldes også Monte Carlo eksperimenter. De introduceres i Økonometri 1 for at illustrere vigtige statistiske begreber: Middelret estimation, varians, efficiens, Simulationseksperimenter er (stort set) ikke dækket af Wooldridge (men se Table C.1, p.771), så derfor benyttes en note (se hjemmesiden). I noten analyserer vi fordelingen af OLS estimatoren og sammenligner med fordelingen af en alternativ estimator Simulationseksperimenter vil også optræde i øvelserne (ugeseddel 4, 5, 7, 12). Kommer igen i Økonometri 2. Økonometri 1: F6 3
Monte Carlo eksperiment: Ideen Simulationer af datasæt fra en fuldt specificeret model: Datagenererende proces (DGP) Eksempel: y = μ + σε, ε iidn... (0,1) i i i Vi kender de "sande parametre" og. Genererer et sæt af fx n=100 observationer fra modellen: y, y,..., y μ 1 2 100 Glemmer at vi kender og : Anvend estimator ( regneregel ) til at skønne over μ ud fra et konkret (men kunstigt) sæt af observationer: Fx gennemsnittet: 1 n y = yi n i = 1 2 σ μ 2 σ Økonometri 1: F6 4
Monte Carlo eksperimenter: Ideen (fortsat) Kan vi på en nem måde vurdere, om y er en rimelig estimator for μ? Lav en uafhængig trækning af et nyt datasæt, der er genereret af den samme DGP. Lav mange uafhængige trækninger ( replikationer ): j = 1,2,..., M. j Beregn værdien af estimatoren for hvert datasæt: y Se på fordelingen af estimaterne over replikationerne: Beregn fx fordelingens gennemsnit og varians. Parallel til tankeeksperimentet : Vores konkrete faktiske datasæt er blot ét blandt mange potentielle udfald. Økonometri 1: F6 5
Monte Carlo eksperimenter: Ideen (fortsat) Formål med Monte Carlo eksperimenter: Efterprøve analytiske resultater: Fx at OLS er middelret under MLR.1-4. Analysere konsekvenserne, hvis antagelserne ikke holder. Sammenligne forskellige estimatorer eller test, hvor det er besværligt/umuligt analytisk. Vurdere hvor mange observationer der skal til, for at man kan bruge asymptotiske resultater i praksis (kap. 5). Økonometri 1: F6 6
Monte Carlo eksperimenter: Eksempel DJØFs hjemmeside www.djoef.dk: Vejledende startløn for en privatansat, nyuddannet økonom er kr. 29.500 om måneden (pr. februar 2005). Antag: Startlønninger er uafhængige og normalfordelte. Sand middelværdi i lønfordelingen er kr. 29.500. Sand lønfordeling har standardafvigelse på kr. 1.500. Hermed er lønfordelingen fuldt specificeret. Simulere en situation, hvor der indhentes en tilfældig stikprøve af n=100 startlønninger. Økonometri 1: F6 7
Monte Carlo eksperimenter: I praksis Trin 1: Konstruer et kunstigt datasæt: Opstil en model for den datagenererende proces: y i = μ + σεi, εi N(0,1), μ=29,5, σ = 1,5. Generer et antal, fx n = 100, observationer af ε i fra en tilfældighedsgenerator og beregn fra modellen. Proc IML; antalobs = 100; mu = j(antalobs,1,29.5); seedvct = j(antalobs,1,1) ; seedvct = 117*seedvct ; e = normal(seedvct) ; y = mu + 1.5 * e ; quit; y i Økonometri 1: F6 8
Monte Carlo eksperimenter: I praksis (fortsat) Trin 2: Ex. sammenligne to estimatorer: Beregn estimaterne: 1. Find gennemsnit af alle observationer: 1 m = 100 1 y i = 1 i 100 2. Find gennemsnit af mindste og største observation: 1 m2 = (min i= 1,...,100 y i + max i= 1,...,100 y i ) 2 m1est=sum(y)/antalobs; * estimatet m1 (gennemsnittet); m2est=1/2*(min(y)+max(y)); * estimatet m2 (gns. min og max); Økonometri 1: F6 9
Monte Carlo eksperimenter: I praksis (fortsat) Trin 3: Gentag trin 1 og 2: M=10.000 replikationer: antalrep = 10000; * antal replikationer i simulationen; m1 = j(antalrep,1,.); * vektorer til at gemme estimaterne i; m2 = j(antalrep,1,.); do j=1 to antalrep; * løkke over simulationer; * her beregnes estimater for hvert datasæt> * estimaterne gemmes for hver replikation ; m1[j,1]=m1est ; * m1 ; m2[j,1]=m2est ; * m2 ; end; Trin 4: Analysér fordelingerne af de to sæt estimater: Histogram Gennemsnit, varians, højere momenter Økonometri 1: F6 10
Monte Carlo eksperimenter: Eksempel Brug algoritmen til at analysere m1og m2 som estimatorer for middelværdien i fordelingen af startlønninger. Simulere telefoninterviews med tilfældigt udvalgte, nyuddannede økonomer, som oplyser (?) deres startløn. SAS-programmet MC.sas udfører M=10.000 replikationer. Se på n=100, n=50 og n=10. Link til SAS Hjemmeopgave : Brug SAS-programmet MC.sas til at køre et simulationseksperiment, hvor du har n=100, men sætter antallet af replikationer til M=5.000. Sammenlign og fortolk dine resultater. Økonometri 1: F6 11
Monte Carlo eksperimenter: Eksempel (fortsat) Middelværdi og varians af de to estimatorer baseret på M=10.000 simulationer har lavest varians m 1 Varians aftager med n n=100 Middelværdi Varians n=50 Middelværdi Varians n=10 Middelværdi Varians 29,499 0,0223 29,499 0,0443 29,498 0,2209 m m 1 2 29,502 0,2089 29,499 0,2445 29,489 0,4116 Økonometri 1: F6 12
Eksempel: En alternativ middelret estimator i en simpel lineær regressionsmodel Model: y = β0 + β1 x+ u, opfylder MLR.1-4 Alternativ estimator: y1 y2 β1 = x x 1 2 Gennemsnit for de observationer, der svarer til de n /2mindste og n /2 største værdier af x Ugeseddel 3: Vis at i β1 er middelret. Ugeseddel 5: Sammenlign V ( β1) med V ( ˆ β1) i et simulationseksperiment Økonometri 1: F6 13
Monte Carlo eksperimenter: Afrunding Husk: Resultater og konklusioner fra Monte Carlo eksperimenter afhænger potentielt af de valgte parametre og fordelinger. I praktiske anvendelser må man i hvert enkelt tilfælde godtgøre, at den valgte model har relevans for den problemstilling, man ønsker at belyse. Økonometri 1: F6 14
Hypotesetest i den lineære regressionsmodel: Endelige stikprøver (kap. 4) For hypotesetest behøver vi fordelingen af ˆβ. Introducere yderligere antagelse: Normalitet. MLR.6: u er uafhængig af x1, x2,..., xk og normalfordelt 2 med middelværdi nul og varians σ. MLR.1-6 definerer den klassiske lineære model (CLM). Restriktiv antagelse: Argument for: u opsamler alle de mange effekter der er udeladt af modellen: Central grænseværdisætning køres i stilling. Argumenter imod i konkrete problemstillinger: Begrænsede variabler (positive!), andre typer af fordelinger (log-normal, diskrete). Økonometri 1: F6 15
Fordeling af OLS estimatoren: Endelig stikprøve Linearitet af ˆβ i u og CLM giver følgende resultat: Theorem 4.1: Under CLM antagelserne og betinget på x1, x2,..., xk hvor Heraf følger: gælder at ˆ β N( β,var( ˆ β )) j j j Var( ˆ β ) = j 2 σ SST 2 j(1 R j) ( ˆ β β ) / standardafv.( ˆ β ) (0,1) j j j N Økonometri 1: F6 16
Fordeling af OLS estimatoren: Endelig stikprøve (fortsat) 2 Theorem 4.1 indeholder den ukendte parameter σ, derfor ikke umiddelbart operationel. 2 2 Erstattes σ af σˆ kan man vise at der gælder følgende resultat: Theorem 4.2: Under CLM antagelserne og betinget på x1, x2,..., xk gælder at ( ˆ β ˆ j β j) / standardfejl( β j) tn k 1 hvor k+1 er antal regressorer i modellen inkl. konstantled. t-fordelingen går mod N(0,1) når antallet af frihedsgrader vokser (fin approximation hvis større end 120). Økonometri 1: F6 17
Hypotesetest: Restriktion på en enkelt koefficient Betragt en nulhypotese om en regressionskoefficient: H 0 : β j = a, hvor a er en konstant. Under nulhypotesen påstår vi altså en bestemt værdi af en parameter i den sande model. Analogt til at specificere en parameter i DGP en for et Monte Carlo eksperiment. Tænk på nulhypotesen som DGP en for et tankeeksperiment: Givet denne værdi af β j kender vi fordelingen af ˆ β j. Bruge afvigelsen mellem estimatet, ˆ β j og den postulerede værdi, a, til at vurdere gyldigheden af nulhypotesen. Økonometri 1: F6 18
Hypotesetest: Restriktion på en enkelt koefficient t-testet for H : β = a er givet ved og er fordelt som under nulhypotesen. Alternativhypotesen: Ensidede alternativer: H1: β j > a eller H1: β j < Tosidet alternativ: H : β a Ex. Afkast af uddannelse: Hypotese om Nulhypotese: 0 j Relevant alternativ: ( ˆ β a) / standardfejl( ˆ β ) j β 1 = 0 tn k 1 1 j β 0? β > 0? 1 1 j β 1 a Økonometri 1: F6 19
Hypotesetest: Restriktion på en enkelt koefficient Klassisk teststrategi: Vælg signifikansniveau: Sandsynlighed for at afvise nulhypotesen, givet at den er sand. Typisk vælges 5 %. Vælg alternativhypotese: Bestemmer den kritiske region, givet signifikansniveauet. Beregn teststatistik. Afvis nulhypotesen hvis testet er i den kritiske region. Afvis ellers ikke. Alternativ: Beregn p-værdi: Marginale signifikansniveau som netop ville betyde at nulhypotesen må afvises. Økonometri 1: F6 20
Hypotesetest: Restriktion på en enkelt koefficient Typiske eksempler: a=0: Standard signifikanstest. a=1 eller a=-1: Test af homogenitet eller proportionalitet. Konfidensinterval: Givet signifikansniveau,, fx 5 %. Så er 100- α % konfidensintervallet givet ved: [ ˆ β t (1 α/ 2) istandardfejl( ˆ β ), ˆ β + t (1 α/ 2) istandardfejl( ˆ β )] j n k 1 j j n k 1 j Konstrueres intervallet således vil det i 100- % af udfaldene rumme den sande værdi. Nulhypoteser om værdier udenfor vil således blive afvist. Skitsér på tavlen. Eksempel: Lønrelationen. α α Økonometri 1: F6 21
Hypotesetest: Eksempel: Lønrelationen Afhængig variabel: log(timeløn) Regressor Model (1) Model (2) uddaar erfaring konstant Antal observationer 2 R 0,0452 (0,0035) _ 4,3500 (0,0420) 1046 0,140 0,0485 (0,0032) 0,0139 (0,0010) 4,1051 (0,0424) 1046 0,275 Kilde: Output fra SAS-programmet lon_udd2.sas Økonometri 1: F6 22
NB er fra denne forelæsning Monte Carlo eksperimenter som en måde at gøre det statistiske tankeeksperiment mere konkret. Resultater fra Monte Carlo eksperimenter afhænger potentielt af de valgte parametre for DGP en. Antal observationer i stikprøven (n) og antal replikationer (gentagelser) i eksperimentet (M). Eksplicit om ingredienser i klassisk teststrategi. Økonometri 1: F6 23
Hvad bliver det næste? Fredag: Mere om kapitel 4, starter på kapitel 5 om asymptotiske resultater. Hjemmeopgave på ugeseddel 3: Den alternative estimator Ugeseddel 4: Simulationseksperiment. Økonometri 1: F6 24