Kvantitative metoder 2 Den multiple regressionsmodel 5. marts 2007 regressionsmodel 1
Dagens program Emnet for denne forelæsning er stadig den multiple regressionsmodel (Wooldridge kap. 3.4-3.5, E.2) Variansen på OLS estimatoren Multikollinaritet Variansen i misspecificerede modeller Estimator for variansen på fejlleddet Gauss-Markov teoremet regressionsmodel 2
Variansen på OLS estimatoren Antagelserne MLR 1-MLR 5 kaldes Gauss-Markov antagelserne Teorem 3.2 Under antagelserne MLR 1-MLR 5 er variansen af OLS estimatoren givet ved Var( ˆ β X ) = σ ( X ' X ) 2 1 X er en nx(k+1) matrix Parameteren β er en (k+1)x1 matrix (vektor) regressionsmodel 3
Variansen af OLS estimatoren (fortsat) Matrixformen for variansen er som regel lettest at arbejde med Til at fortolke variansen kan det være lettere at benytte følgende opskrivning af variansen hvor n SST = ( x x ) j ij j i= 1 var( ˆ β ) = 2 j SST 2 σ 2 j(1 R j ) og R j 2 stammer fra regressionen af x j på de øvrige forklarende variable Bevis for ovenstående opskrivning af variansen se appendix i kap. 3 regressionsmodel 4
Variansen.. (fortsat) De tre komponenter i variansen Variansen af fejlleddet: Jo større varians på fejlleddet jo større varians på alle estimatorerne Variationen i x j Jo større variation i x j jo mindre varians på estimatoren for β j Variation R 2 j Jo tættere R 2 j er på 0 jo mindre er variansen på estimatoren for β j Mindst varians opnås ved R 2 j=0 hvilket svarer til at x j er ukorreleret med de øvrige forklarende variable Jo tættere R 2 j er på 1 jo større er variansen på estimatoren for β j Hvis antagelsen MLR 4 er opfyldt er R 2 j altid forskellig fra 1 regressionsmodel 5
Multikollinaritet Multikollinaritet optræder, når R j2 er tæt på 1 Følgerne af multikollinaritet: Variansen på estimatoren β j vil være stor (se figur 3.1) Hvornår optræder multikollinarietet: Når nogle af de forklarende variable er højt korreleret Når der er få observationer regressionsmodel 6
Multikollinariet (fortsat) Er det et problem, at der er multikollinaritet? Det afhænger af hvor stor variansen på estimatorerne bliver Det afhænger af hvad analysen skal bruges til Høj korrelation mellem nogle af de forklarende variable betyder ikke så meget, hvis det ikke er estimaterne til disse parametre, man primært er interesseret i Hvad stiller man op med multikollinaritet Indsaml mere data Drop en eller flere variable fra modellen. Dette er dog langt fra altid en god ide (problemer med udeladte variable) regressionsmodel 7
Variansen i misspecificerede modeller Variansen i misspecificerede modeller illustreres ved et eksempel Antag følgende model opfylder Gauss-Markov antagelserne: y = β + β x + β x + u Vi har to estimatorer af β 1: OLS estimatoren fra MLR: OLS estimatoren fra SLR: Variansen: 0 1 1 2 2 Var( ˆ β x, x ) = σ /( SST (1 R ) 2 2 1 1 2 1 1 Var( % β x, x ) = σ /( SST ) 2 1 1 2 1 ŷ = ˆ β + ˆ β x + ˆ β x y% = % β + % β x 0 1 1 2 2 0 1 1 regressionsmodel 8
Variansen i misspecificerede modeller (fortsat) Den betingede varians af % β er altid mindre end (eller lig med) variansen af ˆβ Hvis x 1 og x 2 er ukorreleret er variansen den samme og begge estimatorer middelrette Hvis β 2 =0 er begge estimatorer middelrette og % β har mindst varians. Altså % β foretrækkes Hvis β 2 0 er middelret mens er biased. Variansen af % ˆβ % β β er mindst. Det er ikke oplagt hvilken estimator som foretrækkes. regressionsmodel 9
Estimatet på variansen af fejlleddet Estimatoren på variansen på fejlleddet udregnes stort set som i den simple regressionsmodel Ud fra OLS estimaterne kan residualerne beregnes: uˆ = y ˆ β ˆ β x... ˆ β x Estimatet beregnes til: Nævneren er bestemt til at være antallet af frihedsgrader i i 0 1 i1 k ik n i 2 i= 1 ˆ σ = (antal obs.) (antal estimerede parametre) n ( uˆ ) 2 k 1 regressionsmodel 10
Estimatet af variansen på fejlleddet (fortsat) Teorem 3.3 Hvis Gauss-Markov antagelserne (MLR 1- MLR 5) er opfyldt, er estimatoren for variansen af fejlleddet middelret: 2 2 E( ˆ σ ) = σ regressionsmodel 11
Gauss-Markov teoremet Hvis Gauss-Markov antagelserne er opfyldt, kan man vise, at OLS estimatoren er den estimator, som har den mindste varians blandt lineære middelrette estimatorer Hvorfor er det at vigtigt at bruge en estimator med mindst mulig varians? OLS kaldes også BLUE for Best (mindst varians) Linear Unbiased Estimator regressionsmodel 12
Gauss-Markov teoremet Teorem 3.4 Under Gauss-Markov antagelserne (MLR 1- MLR 5) gælder der, at OLS estimatorerne for β 0, β 1,β 2,,β k er BLUE Bevis (se appendix E.2) (tavlegennemgang) regressionsmodel 13
Næste gang Wooldridge kap 4.1-4.4 + note om Monte Carlo simulationer på hjemmesiden for forelæsningerne regressionsmodel 14