Økonometri Lektion 1 Simpel Lineær Regression 1/31

Transkript

1 Økonometri Lektion 1 Simpel Lineær Regression 1/31

2 Simpel Lineær Regression Mål: Forklare variablen y vha. variablen x. Fx forklare Salg (y) vha. Reklamebudget (x). Statistisk model: Vi antager at sammenhængen mellem y og x er beskrevet ved y = β 0 +β 1 x +u. y : Afhængige variabel x : Forklarende/uafhængige variabel u : Fejlleddet Fejlleddet u forklarer den del af variationen i y, som ikke kan forklares af x. 2/31

3 En tegning β 0 : Skæringspunktet β 1 : Hældnings koefficienten y (Salg) y i u i (x i,y i ) β 0 +β 1 x i x i x (Budget) Det hedder simpel lineær regression, fordi β 0 og β 1 indgår liniært (dvs. som sig selv gange en konstant) og fordi vi kun har én forklarende variabel, nemlig x. 3/31

4 Fejlleddet: Antagelser For at komme videre, skal vi antaget lidt mere of fejlleddet u. Vi antager at fejlleddet har middelværdi nul uanset værdien af x: E[u x] = 0 Vi siger at u er middelværdi-uafhængig af x. Håndvifte-fortolkning: Fejlleddet har i gennemsnit ingen betydning det er lige meget over som under. Hvis x og u er uafhængige, og E[u] = 0 opnår vi det samme. Uafhængighed er en stærkere antagelse end middelværdi-uafhængighed. 4/31

5 Middelværdi-uafhængighed Middelværdi-uafhængighed, E[u x] = 0 medfører følgende E[y x] = E[β 0 +β 1 x +u x] = β 0 +β 1 x Dvs., givet x, så er den forventede værdi af y lig β 0 +β 1 x. Fortolkning: Regressionslinjen angiver hvordan den forventede værdi af Y afhænger af x. Ex: Hvis Budget = 1500, så siger vores antagelser, at vi i gennemsnit vil observere et udbytte på β 0 +β /31

6 Model-fortolkning Vores model siger: y = β 0 +β 1 x +u β 0 er den forventede værdi af y når x = 0. Har i mange tilfælde ikke den store interesse. Den forventede værdi af y ændres med β 1, når x vokser med 1 enhed. Med andre ord: Hvordan y forklares af x er beskrevet gennem β 0 og β 1... som vi ikke kender... Antag vi har n par af observationer: (x 1,y 1 ),(x 2,y 2 ),...,(x n,y n ). Vi vil finde estimater af β 0 og β 1. 6/31

7 Indledende knæbøjninger Vores estimation tager udgangspunkt i to middelværdier: Antag x og y er stokastiske variable. Kovariansen mellem x og u er da Cov[x,u] = E[(x E[x])(u E[u])] = E[xu E[x]u] = E[xu] E[x]E[u] = E[xu] = E[E[ux x]] = 0 Vi har altså E[u] = 0 og E[xu] = 0. 7/31

8 Armstræk Vores model siger y = β 0 +β 1 x +u, hvilket vi kan omskrive til u = y β 0 β 1 x. Dvs. E[u] = 0 kan omskrives til E[y β 0 β 1 x] = 0 og E[xu] = 0 kan omskrives til E[x(y β 0 β 1 x)] = 0 Tænker vi på x og y som kendte stokastiake variable, så har vi to ligninger med to ubekendte (β 0 og β 1 ). Vi skal altså bare finde β 0 og β 1, der løser ovenstående ligninger. Denne fremgangsmåde kaldes method of moments. Problem: Vi kender intet til E[x]... 8/31

9 Løselige ligninger Ide: Erstat de forventede værdier med stikprøve-gennemsnit: Den teoretiske ligningen E[y β 0 β 1 x] = 0 erstatter vi med stikprøve-versionen 1 n (y i ˆβ 0 ˆβ 1 x i ) = 0 (1) og E[x(y β 0 β 1 x)] = 0 erstatter vi med erstatter vi med 1 n x i (y i ˆβ 0 ˆβ 1 x i ) = 0 (2) Vi lader løsningerne, ˆβ 0 og ˆβ 1, til ovenstående ligninger være vores estimater af β 0 og β 1. Løsningsstrategi: Isolér ˆβ 0 i (1) og indsæt i (2). 9/31

10 Isolér ˆβ 0 Vi starter med ligninge (1): 1 n (y i ˆβ 0 ˆβ 1 x i ) = 0 Som vi kan skrive lidt om på 1 n y i = 1 n (ˆβ 0 + ˆβ 1 x i ) ȳ = ˆβ 0 + ˆβ 1 x ˆβ 0 = ȳ ˆβ 1 x. Dvs. når vi kender ˆβ 1 (estimatet af hældningen), så kender vi ˆβ 0. 10/31

11 Indsæt ˆβ 0 i (2) Vi indsætter ˆβ 0 = ȳ ˆβ 1 x i (2): 1 n 1 n x i (y i ˆβ 0 ˆβ 1 x i ) = 0 x i (y i (ȳ ˆβ 1 x) ˆβ 1 x i ) = 0 x i (y i ȳ) = ˆβ 1 x i (x i x) ˆβ 1 = n (x i x)(y i ȳ) n (x i x) 2, hvor sidste ligning forudsætter at n (x i x) 2 > 0. 11/31

12 OLS Estimaterne Vores model er y = β 0 +β 1 x +u, hvor β 0 og β 1 estimaeres ved ˆβ 0 = ȳ ˆβ 1 x og ˆβ 1 = n (x i x)(y i ȳ) n (x i x) 2. Disse to estimatorer kaldes OLS (Ordinary Least Squares) Estimatore. 12/31

13 Estimerede regressions-linje Regressions-linjen er estimeret ved ŷ = ˆβ 0 +β 1 x. Prædikteret værdi: ŷ i = ˆβ 0 + ˆβ 1 x i den prædikterede værdi for y i. Residual û i = y i ŷ i = y i ˆβ 0 ˆβ 1 x i. Estimat af fejlleddet u i. y (Salg) y i û i ˆβ 0 + ˆβ 1 x ŷ i Linjen ˆβ 0 + ˆβ 1 x går altid igennem punktet ( x,ȳ)! x i x (Budget) 13/31

14 Egenskaber for residualerne Summen af residualerne er nul: û i = 0 Stikprøve-kovariansen mellem û og x er nul: (û i 0)(x i x) = û i x i = 0 14/31

15 Sums of Squares (Et lille sidespring) Den totale variation i y i erne er beskrevet ved Total Sum of Squares (SST): SST = (y i ȳ) 2 y (Salg) y i y i ȳ ȳ û i ˆβ 0 + ˆβ 1 x ŷ i ȳ x i x (Budget) Den totale afvigelse y i ȳ kan opdeles i en forklaret del, ŷ i ȳ og en uforklaret del y i ŷ i. 15/31

16 Opsplitning af SST Den totale variation, SST kan splittes op i to: SST = SSE +SSR. Hvor SSE er Explained Sum of Squares (den forklarede variation): SSE = (ŷ i ȳ) 2 Hvor SSR er Residual Sum of Squares (den uforklarede variation): SSR = (y i ŷ i ) 2 = û 2 i 16/31

17 Determinations Koefficienten Den totale variation SST kan opdeles i en uforklaret del SSR og en forklaret det SSE. Andelen af den totale variation, der er forklaret kaldes determinations koefficienten R 2 = SSE SST = 1 SSR SST. Hvis R 2 = 0.7 betyder det at modellen kan forklare 70% af variationen i y i erne. De sidste 30% er tilfældig, uforklaret variation. 17/31

18 Bevis for SST = SSE +SSR (y i ȳ) 2 = [(y i ŷ i )+(ŷ i ȳ)] 2 = = [û i +(ŷ i ȳ)] 2 ûi 2 +2 = SSR +2 û i (ŷ i ȳ)+ (ŷ i ȳ) 2 û i (ŷ i ȳ)+sse. Færdig, da n ûi(ŷ i ȳ) = 0, idet n ûi = 0 og n ûix i = 0. 18/31

19 Eksempel: Salg og Reklame Analyse af sammenhæng mellem salg og reklamebudget vha. simpel lineær regression. Start R og indlæs data vha. reklame = read.table("salg.dat",header=true) Kommandoen names(reklame) giver [1] "budget" "salg" Dvs. reklame indeholder to variable budget og salg. Vi kan se fx. budget variable vha. reklame$budget [1] /31

20 Eksempel fortsat Oversæt fra matematik til R Den matematiske formulering af SLR er y = β 0 +β 1 x +u Den tilsvarende sammenhæng formuleres i R som y ~ x Parametrene β 0 og β 1 er underforståede. Vi kan plotte sammenhængen mellem salg mod budget vha. plot(salg ~ budget, data = reklame) 20/31

21 Eksempel fortsat Vi kan nu opstille og analysere vores (simple) lineære regressions model vha. model = lm(salg ~ budget, data = reklame) Vi har nu skabt en model ved navn model (hvor orginalt!). Kommandoen lm betyder linear model. Vi kan opsummerer model og den tilhørende analyse vha. summary(model) som giver... 21/31

22 Resultat summary(model) giver Call: lm(formula = salg ~ budget, data = reklame) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-05 *** budget * --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 10 degrees of freedom Multiple R-squared: 0.403, Adjusted R-squared: F-statistic: on 1 and 10 DF, p-value: Estimater af β erne finder vi Estimate søjlen. Dvs. ˆβ 0 = og ˆβ 1 = Desuden har vi R = Fortolkning? 22/31

23 Centralitet Vi har estimater ˆβ 0 og ˆβ 1, men hvilke egenskaber har de? Hvis vi tænker på y i erne som tilfældige er estimatorerne ˆβ 0 og ˆβ 1 det også. Vi vil gerne have, at vores estimatore er centrale (unbiased), dvs. E[ˆβ 0 ] = β 0 og E[ˆβ 1 ] = β 1, dvs. vi i gennemsnit får det rigtige svar. For at vi kan vise centralitet, skal vi gøre os nogle antagelser. 23/31

24 Antagelser Antagelse SLR.1 (Lineære parametre) I populations-modellen er sammenhængen mellem y, x og u givet ved y = β 0 +β 1 x +u. Antagelse SLR.2 (Tilfældig stikprøve) Vi har en tilfældig stikprøve af størrelse n, (x 1,y 1 ),(x 2,y 2 ),...,(x n,y n ) fra populations-modellen i SLR.1. Antagelse SLR.3 (Variation i x i erne) Alle x i erne må ikke have samme værdi. Antagelse SLR.4 (Betinge nul-middelværdi) Fejlleddet u har forventet værdi nul uanset værdien af x, mao. E[u x] = 0 24/31

25 Centrale estimatorer Sætning Under antagelse SLR.1 til SLR.4 gælder E[ˆβ 0 ] = β 0 og E[ˆβ 1 ] = β 1, dvs. ˆβ 0 og ˆβ 1 er centrale estimatorer. 25/31

26 Bevis for centralitet af ˆβ 1 Vi starter at skrive lidt om på ˆβ 1 : ˆβ 1 = n (x i x)y i n (x i x) 2 = n (x i x)(β 0 +β 1 x i +u i ) SST x I tælleren kan vi gange ind i parentesen: (x i x)β 0 + (x i x)β 1 x i + β 0 (x i x)+β 1 (x i x)x i + Sætter vi tilbage får vi ˆβ 1 = β SST x (x i x)u i = (x i x)u i = 0+β 1 SST x + (x i x)u i (x i x)u i 26/31

27 Bevis for centralitet af ˆβ 1 (fortsat) Vi tager udgangspunkt i Den forventede værdi er [ ˆβ 1 = β SST x E[ˆβ 1 ] = E β SST x (x i x)u i ] (x i x)u i 1 = E[β 1 ]+E[ (x i x)u i ] SST x = β (x i x)e[u i ] SST x = β 1, hvor vi har brugt at E[u i ] = 0. 27/31

28 Variansen af Estimatorerne Estimatoerne ˆβ 0 and ˆβ 1 er altså rigtige i gennemsnit, men hvad med variansen? Vi antager at fejlleddene har konstant varians: Antagelse SLR.5 (Homoskedastisk) Fejlledet u har samme varians uanset værdien af den forklarende variabel, x, mao. Var[u x] = σ 2. En konsekvens af SLR.4 (E[u x] = 0) og SLR.5 er at E[y x] = β 0 +β 1 x og Var[y x] = σ 2. 28/31

29 Genkald jer, at ˆβ 1 = β SST x (x i x)u i Vi kan nu udregne variansen for ˆβ 1 : [ ] Var[ˆβ 1 ] = Var β (x i x)u i SST x ( ) [ 1 2 ] = Var (x i x)u i SST x ( ) 1 2 = (x i x) 2 Var[u i ] SST x = σ2 SST x 29/31

30 Var[ˆβ 0 ] udregnes på tilsvarende vis. Vi har altså Var[ˆβ 1 ] = σ2 SST x og Var[ˆβ 0 ] = σ2 n 1 n x2 i SST x Bemærk, hvordan variansen for ˆβ 1 falder når SST x vokser hvorfor er det ikke overraskende? 30/31

31 Estimation af Fejlledsvariansen σ 2 En central estimator for σ 2 er ˆσ 2 = 1 n 2 ûi 2 = SSR/(n 2). Nævneren, n 2, svarer til antallet af frihedsgrader. Vi har altså mistet to frihedsgraderne pga. følgende begrænsninger: û i = 0 og x i û i = 0 Tommelfingerregel: û i afhænger af to estimater ˆβ 0 og ˆβ 1, derfor to mistede frihedsgrader. 31/31