Lagrange multiplier test Et alternativ til F -testet af en eller flere parametre. Økonometri: Lektion 6 Håndtering ad heteroskedasticitet Antag vi har model: y = β 0 + β 1 x 2 + + β k x k + u. Vi ønsker at teste hypotesen H 0 : β k q+1 = = β k = 0 En Langrange muliplier test indeholder følgende tre trin: 1. Først estimerer vi den restringerede model: y = β 0 + β 1 x 1 + + β k q x k q + ũ. Intuition: Hvis H 0 er falsk, så vil variationen i ũ være (delvist) forklaret af de udeladte variable x k q+1,..., x k. 1 / 34 2 / 34 Langrange multiplier test fortsat Konsekvenser af Heteroskedasticitet 2. Først estimerer vi den restringerede model: Udfør en regression af ũ mod alle variable x 1,..., x k. Den resulterende determinationskoefficient betegnes R 2 u. Intuition: Hvis H 0 er sand, så vil R 2 u 0. Bemærk: Man kan vise at nr 2 u a χ 2 q. 3. Afvis H 0 hvis nr 2 u > χ 2 q,α. Alternativt kan man finde en p-værdi. Antag her (og i resten) at MLR.1 til MLR.4 er opfyldt. Antag MLR.5 ikke er opfyldt, dvs. vi har heteroskedastiske fejlled. Konsekvenser De sædvanlige estimatore for σ 2 og Var[ ˆβ] er biased. Konfidensintervaller er forkerte. Test er ugyldige, fx. t-test af en enkelt parameter. Vores OLS estimatore ˆβ 0, ˆβ 1,..., ˆβ k er stadig unbiased. OLS estimatorene er ikke længere BLUE (Best Linear Unbiased Estimators). 3 / 34 4 / 34
Eksempel Vi ser på data for løn igen. Variable af interesse er Wage: Timeløn i $ Education: Længden af uddannelse målt i år Experience: Års erfarring Model: Wage = β 0 + β 1 Education + β 2 Experience + u 5 / 34 Hetetroskedasticitet: Grafisk check Grafisk check: Plot af ˆr i mod ŷ i ( Scale-Location plottet): model=lm(wage~education+experience,data=wage) plot(model,which=3) 0 5 10 15 0.0 0.5 1.0 1.5 2.0 2.5 Fitted values Standardized residuals lm(wage ~ EDUCATION + EXPERIENCE) Scale Location 169 402 105 Plottet indikerer, at jo højere løn modellen forudsiger, jo højere er variansen af fejlleddene. 6 / 34 Heteroskedastiske fejlled For simpel lineær regression har vi y i = β 0 + β 1 x i + u i. Vi antager generelt at MLR.1 til MLR.4 er opfyldt. Antag at vi har heteroskedastiske fejlled: Var[u i x i ] = σ 2 i Dvs. det i te fejlled u i har sin egen varians σ 2 i. Bemærk: Da E[u i x i ] = 0 er E[u 2 i x i] = Var[u i x i ]. Dvs. û i er et estimat af σ 2 i. 7 / 34 Heteroskedasticitets-robust varians estimator I simpel lineære regression er OLS estimatoren for β 1 givet ved ˆβ 1 = β 1 + n i=1 (x 1 x)u i n i=1 (x i x) 2. Det er lige ud ad landevejen at vise, at Var[ ˆβ 1 ] = n i=1 (x i x) 2 σ 2 i SST 2 x. Bemærk: Vi kender ikke σ 2 i erne. Hvis û i erne er residualerne, så har vi en stimator: Var[ ˆβ 1 ] = n i=1 (x i x) 2 û 2 i SST 2 x 8 / 34
Generelle tilfælde Antag vi har en multipel lineær regressions-model y = β 0 + β 1 x 1 + β 2 x 2 + + β k x k + u En gyldig estimator for Var[ ˆβ j ] er da Var[ ˆβ j ] = n i=1 ˆr ij 2û2 i SSRj 2, hvor ˆr ij er residualerne opnået ved mulitpel lineær regression af x j mod de andre k 1 forklarende variable. SSR j er det sædvanlige SSR opnået ved samme regression. Udregning af Var[β] i R Vi kan opnå et heteroskedasticitets-robust estimat af varians-kovarians-matricen for parameter-vektoren β: library(sandwich) vcovhc(model,type="hc0") Resultat: (Intercept) EDUCATION EXPERIENCE (Intercept) 1.61149148-0.1068216605-0.0146920976 EDUCATION -0.10682166 0.0077792691 0.0006584354 EXPERIENCE -0.01469210 0.0006584354 0.0003467800 Med type="hc0" har vi valgt estimatoren fra forrige slide. Man kan få standard errors for de enkelte parametre vha. sqrt(diag(vcovhc(model,type="hc0"))): (Intercept) EDUCATION EXPERIENCE 1.26944534 0.08820017 0.01862203 9 / 34 10 / 34 t-test af enkelt parameter Vi kan nu teste hypotesen vha. t-teststørrelsen H 0 : β j = k vs H 1 : β j k t = Under H 0 gælder t t n k 1. ˆβ j k Var[ ˆβ j ] t-test med hetroskedasticitets-robuste SE t-test af modellens parametre udføre i R vha. coeftest(model,vcov=vcovhc(model,type="hc0")) t test of coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) -4.524472 1.269445-3.5641 0.0003987 *** EDUCATION 0.913018 0.088200 10.3517 < 2.2e-16 *** EXPERIENCE 0.096810 0.018622 5.1987 2.89e-07 *** Til sammenligning: Det normale summary resultat: Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) -4.52447 1.23935-3.651 0.000288 *** EDUCATION 0.91302 0.08219 11.109 < 2e-16 *** EXPERIENCE 0.09681 0.01772 5.464 7.25e-08 *** Ingen afgørende forskelle. 11 / 34 12 / 34
Wald test Test for Heteroskedasticitet For at teste en generel lineær hypotese er det nemmeste at bruge en såkaldt Wald test. Et Wald test sammenligner to modeller på samme måde som anova kommandoen gør. Forskellen er at vi med Wald testet kan angive den (estimerede) heteroskedasticitet: waldtest(model,vcov=vcovhc(model,type="hc0")) Wald test Model 1: WAGE ~ EDUCATION + EXPERIENCE Model 2: WAGE ~ 1 Res.Df Df F Pr(>F) 1 520 2 522-2 54.234 < 2.2e-16 *** Indtil nu har vi korrigeret for heteroskedasticitet uden at teste om data faktisk er heteroskedatiske. Det vil vi gøre noget ved! Start med sædvanlig lineær model y = β 0 + β 1 x 1 + β 2 x 2 + + β k x k + u, hvor vi antager, at MLR.1 til MLR.4 er opfyldt. Det betyder bl.a. at E[u x 1,..., x k ] = 0. Vores nul-hypotese er at MLR.5 er sand H 0 : Var[u x 1, x 2,..., x k ] = σ 2 13 / 34 14 / 34 Omformulering af H 0 Eksempel: Middelværdien af u 2 Plot at û 2 mod ŷ samt en glidende middelværdi af û 2 : Vores nul-hypotese er altså H 0 : Var[u x 1, x 2,..., x k ] = σ 2 scatterplot(resid(model)^2 ~ predict(model), boxplots="", reg.line=f, spread=f) Da vi har antaget E[u x] = 0 har vi Var[u x] = E[u 2 x]. Dvs. vores nul-hypotese er ækvivalent med H 0 : E[u 2 x 1, x 2,..., x k ] = E[u 2 x] = σ 2. Dvs. middelværdien af u 2 må ikke afhænge af en eller flere af de forklarende variable. resid(model)^2 0 200 400 600 800 1200 0 5 10 15 predict(model) 15 / 34 16 / 34
Eksempel: Middelværdien af u 2 Plot at û 2 mod ŷ samt en glidende middelværdi af û 2 : scatterplot(resid(model)^2 ~ predict(model), boxplots="", reg.line=f, spread=f, ylim=c(0,25)) Vi zoomer lidt på y-aksen 0 5 10 15 0 5 10 15 20 25 predict(model) resid(model)^2 Det er helt tydeligt at E[u 2 ] ikke er konstant! 17 / 34 Test for Heteroskedasticitet fortsat Vi kan teste om middelværdien af u 2 har en (lineær) sammenhæng med en eller flere forklarende variable vha. OLS: Antag følgende lineære sammenhæng u 2 = δ 0 + δ 1 x 1 + δ 2 x 2 + + δ k x k + ν, hvor ν er et fejlled med E[ν x] = 0. Vores nul-hypotse om homoskedasticitet er nu H 0 : δ 1 = δ 2 = = δ k = 0. Vi kan nu (i princippet) test H 0 vha. et F - eller LM-test. Problem: Vi kender (som sædvanligt) ikke u erne. Løsning: Erstat u 2 med kvadrede residualer, û 2. 18 / 34 Test for Heteroskedasticitet: F -test 1. Udfør først almindelige OLS estimation af y mod x 1,..., x k og opnå residualer û. 2. Find OLS estimater for følgende ligning û 2 = δ 0 + δ 1 x 1 + δ 2 x 2 + + δ k x k + ν, hvorved vi opnår determinations-koefficienten R 2 û 2. 3. Vores nul-hypotse H 0 : δ 1 = δ 2 = = δ k = 0 kan nu testes med F -teststørrelsen F = R 2 û 2 /k (1 R 2 û 2 )/(n k 1). Under H 0 gælder F a F k,n k 1. 19 / 34 Breusch-Pagan test Teststørrelsen for LM-testet er LM = n R 2 û 2. Under H 0 gælder LM a χ 2 k. Dette LM-test kaldes også for et Breusch-Pagan test. I R udføres testet vha. library(lmtest) bptest(model) Resultat: studentized Breusch-Pagan test data: model BP = 8.7268, df = 2, p-value = 0.01274 Dvs. vi kan afvise nul-hypotesen om homoskedasticitet, hvilket bekræfter de grafiske check. 20 / 34
White test for Heteroskedasticitet I forbindelse med de asymptotiske resultater har vi antaget Var[u x 1,..., x k ] = σ 2. Ny antagelse: Antagelsen Var[u qx] = σ 2 erstattes med den svagere antagelse, at der igen korrelation er mellem de kvaderede fejlled (u 2 erne) og de forklarende variable (x j erne), de kvadrede fejlled (x 2 j erne) og interaktionsled (x jx i, i j). Dette kan testes vha. OLS: Testet: Antag vi har k = 3 forklarende variable. En White test involverer da OLS estimation for û 2 =δ 0 + δ 1 x 1 + δ 2 x 2 + δ 3 x 3 + δ 4 x 2 1 + δ 5 x 2 2 + δ 6 x 2 3 + δ 7 x 1 x 2 + δ 8 x 1 x 3 + δ 9 x 2 x 3 + fejl. Testen afgøre med et F - eller LM-test som før. Problem: Antal af frihedsgrader falder hurtigt, når k vokser. Special-tilfælde af en White test Udfør OLS estimation som sædvanligt og definer de prædikterede værdier ŷ i = ˆβ 0 + ˆβ 1 x i1 + ˆβ 2 x i2 + + ˆβ k x ik. Udfør derefter OLS estimation for û 2 = δ 0 + δ 1 ŷ + δ 2 ŷ 2 + fejl. Højresiden involverer nu led af typen x j, xj 2 og x j x i, men ikke som på forrige slide. Dvs. hvis H 0 er sand så har vi δ 1 = δ 2 = 0. Vi kan nu teste hypotesen H 0 : δ 1 = δ 2 = 0 vha. et F - eller LM-test. Bemærk: for F -testet gælder F F 2,n 3 og for LM-testet gælder LM χ 2 2. Dvs. antallet af frihedsgrader er upårvirket af antallet af forklarende varibale k. 21 / 34 22 / 34 White test i R Weighted Least Squares Estimation Specialtilfældet af White testet udføres i R med kommandoen bptest(model,~predict(model)+i(predict(model)^2)) Resultat: studentized Breusch-Pagan test data: LinearModel.1 BP = 7.8128, df = 2, p-value = 0.02011 Endnu engang kan vi afvise nul-hypotsen om homoskedasticitet. Ny situation: Hvis vi ved hvordan variansen er inhomogen, så kan vi gøre noget ved det! Antag Var[u x] = σ 2 h(x), hvor h(x) > 0 er en kendt funktion af de forklarende variable x. For den i te observation er variansen af fejlleddet u i σ 2 i = Var[u i x i ] = σ 2 h(x i ) = σ 2 h i, hvor x i er vektoren af forklarende variable for i te observation. Ide: Divider u i med h i 23 / 34 24 / 34
Vægtet residual Om i te fejlled har vi antaget E[u i x i ] = 0 og Var[u i x i ] = σ 2 h i Fordi vi er dovne dropper vi x i i notationen. Middelværdien for u i / h i er da E[u i / h i ] = E[u i ]/ h i = 0. Da E[u i / h i ] = 0 har vi variansen Var[u i / h i ] = E[(u i / h i ) 2 ]: Var[u i / h i ] = E[(u i / h i ) 2 ] = E[u 2 i /h i ] Definer vægtet residual u i = E[u 2 i ]/h i = σ 2 h i /h i = σ 2 = u i / h i E[u i ] = 0 og Var[u i ] = σ 2 Vægtet model Oprindelige model: y i = β 0 + β 1 x i1 + β 2 x i2 + + β k x ik + u i Dividerer vi igennem med h i får vi eller (y i / h i ) = β 0 / h i + β 1 (x i1 / h i ) hvor x i0 = 1/ h i. + β 2 (x i2 / h i ) + + β k (x ik / h i ) + (u i / h i ) y i = β 0 x i0 + β 1 x i1 + β 2 x i2 + + β k x ik + u i, Hvis den oprindelige model opfylder MLR.1 til MLR.4, så opfylder den transfomerede model MLR.1 til MLR.5, da Var[u i x i] = σ 2. 25 / 34 26 / 34 Vægtet mindste kvadraters metode Ordinær mindste kvadraters metode (OLS): Minimer n (y i β 0 β 1 x i1 β 2 x i2 β k x ik ) 2 i=1 Vægtet mindste kvadraters metode (WLS): Minimer n i=1 = ( ) yi 1 x β 0 i1 x β 1 i2 x 2 β 2 β k ik hi hi hi hi hi n i=1 1 h i (y i β 0 β 1 x i1 β 2 x i2 β k x ik ) 2 Dvs. samme sum som øvrest, blot er det i te led i summen vægtet med h 1 i. WLS er et eksempel på Generalized Least Squares (GLS). Eksempel: Kendt h(x) Indkomsten for l te lønmodtager i i te kommune er hvor Var[u i,l ] = σ 2. Løn i,l = β 0 + β 1 Alder i,l + u i,l, Antag vi for hver kommune kun kender gennemsnitsløn Løn i og gennemsnitsalder Alder i og antallet af personer m i. Da har vi Løn i = β 0 + β 1 Alder i + ū i, hvor ū i = m 1 mi i l=1 u i,l. Dvs. Var[ū i ] = σ 2 /m i. Vi kan nu anvende WLS med h i = 1/m i. 27 / 34 28 / 34
Estimation af h(x) Typisk kender vi ikke h(x). I stedet erstatter vi det hvert h i med et estimat ĥ i. En fremgangsmåde er følgende: Antag Var[u x] = σ 2 exp (δ 0 + δ 1 x 1 + δ 2 x 2 + + δ k x k ). Ved at bruge esponential-funktionen sikrer vi os, at Var[u x] > 0 for alle mulige værdier af x og δ erne. Antag vi kan finde estimater ˆδ 0, ˆδ 1,... ˆδ k, så har vi estimat for h i : ĥ i = exp (ˆδ0 + ˆδ 1 x i1 + ˆδ 2 x i2 + + ˆδ ) k x ik. Fremgangsmåder af denne type kaldes Feasible GLS (feasible praktisk muligt). Estimation af h(x) Vi skal have estimeret δ 0, δ 1,..., δ k. Betragt følgende model u 2 = σ 2 exp (δ 0 + δ 1 x 1 + δ 2 x 2 + + δ k x k ) ν, hvor ν er et fejlled med E[ν] = 1. Tager vi log på begge sider får vi log(u 2 ) = α 0 + δ 1 x 1 + δ 2 x 2 + + δ k x k + e, hvor e er et fejlled med E[e] = 0. Da ligningen opfylder MLR.1 til MLR.4 er OLS estimater af α 0, δ 1,..., δ k unbiased. 29 / 34 30 / 34 FGLS i R Trin 1 (af 4): Estimer model vha. OLS: model.ols <- lm(wage ~ EDUCATION + EXPERIENCE, data = Wage) Trin 2 (af 4): Udfør regression af log(û 2 ) mod de forklarende variable: temp.fgls <- lm(log(resid(model.ols)^2) ~ EDUCATION + EXPERIENCE, data = Wage) Trin 3 (af 4): Beregn ĥ: h.hat <- exp(predict(temp.fgls)) Trin 4 (af 4): Udfør WLS med vægte 1/ĥi: model.wls <- lm(wage ~ EDUCATION + EXPERIENCE, weights = 1/h.hat, data = Wage) Resulater > summary(model.ols) lm(formula = WAGE ~ EDUCATION + EXPERIENCE, data = Wage) Estimate Std. Error t value Pr(> t ) (Intercept) -4.52447 1.23935-3.651 0.000288 *** EDUCATION 0.91302 0.08219 11.109 < 2e-16 *** EXPERIENCE 0.09681 0.01772 5.464 7.25e-08 *** > summary(model.wls) lm(formula = WAGE ~ EDUCATION + EXPERIENCE, data = Wage, weights = 1/h.hat) Estimate Std. Error t value Pr(> t ) (Intercept) -2.14110 1.01527-2.109 0.0354 * EDUCATION 0.72267 0.07211 10.021 < 2e-16 *** EXPERIENCE 0.09552 0.01683 5.675 2.31e-08 *** 31 / 34 32 / 34
Special-tilfælde af FGLS R funktion til special-tilfælde af FGLS I trin 2 kan vi udføre en regression af log(û 2 ) mod ŷ og ŷ 2. I R er kommandoen da: temp.fgls <- lm(log(resid(model.old)^2) ~ predict(model.ols) + I(predict(model.ols)^2)) FGLS <- function(formula, Data){ LinearModel.OLS <- lm(formula = Formula, data=data) temp.fgls <- lm(log(resid(linearmodel.ols)^2) ~ predict(linearmodel.ols) + I(predict(LinearModel.OLS)^2)) h.hat = exp(predict(temp.fgls)) LinearModel.WLS <- lm(formula = Formula, data=data, weights = 1/h.hat) return(linearmodel.wls) } 33 / 34 34 / 34