Statistik Lektion 15 Mere Lineær Regression. Modelkontrol Prædiktion Multipel Lineære Regression

Transkript

1 Statstk Lekton 15 Mere Lneær Regresson Modelkontrol Prædkton Multpel Lneære Regresson

2 Smpel Lneær Regresson - repetton Spørgsmål: Afhænger y lneært af x?. Model: y = β + β x + ε ε d N(0, σ ) Systematsk komponent + Stokastsk komponent

3 Estmaton - repetton Vha. Mndste Kvadraters Metode fnder v regressonslnjen hvor b b yˆ 1 0 = = = SS b SS xy x y b x b x 1 yˆ = b0 + b1 x estmat af estmat af β β estmat af E( Y X = 1 0 x ) = β 0 + β x 1 Resdual: ˆ e = y y = y b0 b1 x

4 Kovarans og Korrelaton Defnton af kovarans: Cov(X,Y)=E[(EX-μX )(EY-μY)] Defnton af korrelatonskoeffcent: Cov(X,Y) ρ = ρ( X, Y ) = σ X σ Y ρ beskrver hvor høj grad der er en lneær sammenhæng mellem X og Y. Estmat af ρ : SSXY r = SS SS X Y

5 Forklaret og uforklaret afvgelse Y s afvgelse fra Y kan opdeles to: Y Y Yˆ Y Uforklaret afvgelse Forklaret afvgelse Y = b0 + b1 X Totale afvgelse X X X

6 Den totale varaton Den totale varaton for data er n 2 SST = ( ) ( = y 1 y = SS Varatonen data omkrng datas mddelværd SST = Sum of Squares Total Y )

7 Total og forklaret varaton - llustraton Y Y Den totale varaton ses når v kgger langs x-aksen X Den uforklarede varaton ses når v kgger langs regressonslnen X

8 Opsltnng af den totale varaton Den totale varaton kan opslttes: 2 ( ) n 2 ( ) n y y = y yˆ + ( yˆ ) 2 n = 1 = 1 = 1 y SSE n ( y ˆ ) 2 y = = er den uforklarede varaton. SSR n 1 ( y ) 2 = = er den forklarede varaton. ˆ 1 y SSR = Sum of Squares Regresson

9 Total og forklaret varaton Opspltnng af varatonen Total = Uforklaret + Forklaret 2 n 2 n ( y y) = ( y yˆ ) + ( yˆ y) n = 1 = 1 = 1 2 SST = SSE + SSR

10 Determnatons koeffcenten Determnatons Koeffcenten: Andelen af den totale varaton, der er forklaret. r 2 Forklaret varaton SSR SST SSE = = = = 1 Total varaton SST SST SSE SST Pr defnton: 0 r 2 1. Jo tættere r 2 er på 1, jo mere af varatonen data er forklaret af modellen. r 2 >0.8 er godt! r 2 meget tæt på 1 er dog mstænkelgt.

11 Eksempler på r 2 Y Y Y r 2 = 0 SST SSE X r 2 = 0.50 X SST SSE SSR r 2 = 0.90 S S E SST SSR X

12 Eksempel: Reklamebudget vs salg

13 r 2 SSR = SST = 17030, ,250 = 0,403

14 Modelkontrol For at kunne stole på test og estmater skal v skre os, at modellens antagelser er overholdt! Er der en lneær sammenhæng mellem X og Y? Er fejlleddene ε 1,, ε n uafhænge? Følger fejlleddene ε 1,, ε n alle N(0,σ 2 )?

15 Resdualanalyse Bemærk at resdualet er et estmat af fejlledet ε. e = y yˆ Dvs. e erne groft sagt skal opføre sg som uafhængge N(0,σ 2 ) varable! Grafsk kontrol: Plot e erne mod x eller. ŷ

16 Resdualplot Resdualer Resdualer 0 0 x or y$ x or y$ Homoskedastsk: Resdualerne ser ud tl at varere lge meget for alle x eller ŷ. Desuden er resdualerne ufahængge af hnanden og x. Heteroskedastsk: Varansen for resdualerne ændrer sg når x ændrer sg. Resdualer Resdualer 0 0 Td Resdualerne udvser lneær trend med tden (ellern anden varabel v kke har brugt). Dette ndkerer at td skulle nkluderes modellen. x or y$ Det buede mønster ndkerer en underlæggende kke-lneær sammenhæng.

17 TV-Statstk-Køkken Jeg har snydt og lavet mt eget data Det lgner reklame/salg data, men med flere observatoner (n=30).

18 Resdualer SPSS I Lnear Regresson vnduet vælges Save I Save vnduet vælges Unstandardzed både under Reresduals (e erne) og ŷ Predcted Values ( erne).

19 Efter endt regresson skaber SPSS to nye søjler Data Edtor, der ndeholder resdualer ( RES_1 ) prædktoner ( PRE_1 ). Derefter kan man fx lave scatter plots.

20 Scatter plot af resdualer (e erne) mod højde (x erne) (øverst) resdualer (e erne) mod prædktonerne ( erne) (nederst). ŷ Ser jo ganske usystematsk ud!

21 Grafske check for Normalfordelng For at tjekke holdbarheden af antagelsen om normalfordelte fejlled: ( ε ~N(0,σ 2 ) ) Lav et hstogram over resdualerne og se efter om det normalfordelt ud. Lave et normalfordelngsplot (Q-Q plot). Lav et formelt χ 2 -test for goodness of ft tl en normalfordelng for resdualerne (Kaptel 14)

22 Hstogram af resdualer Det ser jo ca normalfordelt ud

23 Normalfordelngsplot (Q-Q plot) For hvert resdual e udregner v q = l + 1+ m n + 1 hvor l er antallet af resdualer der er mndre end e, og m er antallet af resdualer med samme værd som e. 2 For hvert q fnder v z, så P(Z z )= q, hvor Z~N(0,1). Hvs e erne er normalfordelte vl et plot af (e, z ) lgge på en ret lne.

24 Normalfordelngsplot (Q-Q plot) Hvs alle e erne er forskellge kan v bruge en tegnng: z erne opnås ved at nddele normalfordelngen n+1 lge store stykker Areal = 1/(n+1) z 5

25 Vælg Analyze Descrptve Statstcs Q-Q plots Ser helt fnt ud snor sg kke alt for systematsk omkrng lnjen.

26 Prædkton SLR-modellen Punktprædkton: Hvlken værd vl y forventelgt antage, hvs x antager en bestemt værd, fx x=10? Svar: ˆ = b0 + b1 y 10 ˆ = b + b x y 1 Ganske smpelt ved at ndsætte x den estmerede regressons lnje! Dvs. v prædkterer som bedste bud på 0 punktets værd. Bedst kke at prædktere for x værder for langt fra, hvor v har data.

27 Prædktonsnterval for observatonen X x x n s n t y SS ) ( 1 1 1) ( ˆ ± α Et (1-α)100% prædktons nterval for Y X=x er Hvor s= MSE. Et (1-α)100% konfdens nterval for E(Y X=x) er X x x n s n t y SS ) ( 1 1) ( ˆ ± α

28 Prædktonsbånd Y Prædktonsbånd for E[Y X] Regressonslnje y Prædktonsbånd for Y X x X Prædktonsbåndene fremkommer ved at betragte konfdensntervallets endepunkter som funkton af x.

29 Multpel Lneær Regresson Data: Sæt af observatoner (x 1, x 2,, x k, y ), = 1,,n y er den afhængge varabel x 1, x 2,, x k er de k forklarende/uafhængge forklarende varable for y. Model: Y = β 0 + β 1 x β k x k + ε ε 1,,ε n IID ε ~ N(0,σ 2 ) E[Y x ] = β 0 + β 1 x β k x + k k = β 0 j = β j x 1 j (lneær mddelværd-struktur)

30 Forudsætnnger Lneær sammenhæng mellem Y og X j. X j erne er faste tal ε ~N(0,σ 2 ) (uafhænggt af x og andre ε) X erne skal være lneært uafhængge

31 Eksempel Eksempel: Y = Vægt Y = Vægt for te person X 1 = Højde X 1 = Højde for te person X 2 = Alder X 2 = Alder for te person Model for te persons vægt: ) (0, ~,, σ ε ε ε ε β β β N x x Y n d K =

32 Multpel regresson llustraton (k = 2) y ε y x 2 β 2 β β 1x1 β 2x2 β 1 β 0 x 1 y = x2 β + β x + β + ε

33 Parameter fortolknnger Y = x2 β + β x + β + ε β 0 = Værd af E(Y x 1 =x 2 = =x k =0) β j = Eks: Konstant der sger, hvor meget E(Y X) ændrer sg hvs x j vokser med 1 og alle andre x er forblver uforandrede. β 2 margnal ændrng vægt som funkton af margnal ændrng alder.

34 Estmeret Model og Resdualer Model y = β 0 + β x β x ε y e ε d N(0, σ 2 ) Estmeret model ˆ = b + b x + b x y Resdual e = yˆ y x 2 $y = b + b x + b x x 1

35 Estmaton: Mndste kvadraters metode Mnmer summen af de kvadrerede resdualer n 2 n e = 1 = k xk = = SSE ( y b b x b x b x L b ) Matematsk set samme procedure som smpel lneær regresson: Dfferenter med hensyn tl b j, j=0,...,k og sæt de k+1 lgnnger lg nul. Resultat: (k+1) lgnnger med (k+1) ubekendte. 2 Løs!! (kræver mere avanceret matematk og ekstra meget te på kanden)

36 Multpel Lneær Regresson SPSS En måde at lave multpel lneær regresson på er vha. Lnear Regresson funktonen, hvor I blot ndsætter flere varable som Independent.

37 Eksempel Model: 2 Y = β0 + β1x1 + β2x2 + ε, ε..d. N(0, σ ), = 1, K, n y = Vægt for te person x = Højde og x 1 2 = Alder for te person. Estmerede regressonslnje: y ˆ = b + b x Coeffcents a b 2 x 2 Model 1 (Constant) h jde alder a. Dependent Varable: vægt Unstandardzed Coeffcents Standardzed Coeffcents B Std. Error Beta t Sg. -102,949 4,037-25,499,000,968,022,672 43,159,000,162,012,215 13,835,000

38 Estmat af σ 2 Fejlleds-varansen Estmat af σ 2 2 SSE s = = n k 1 Estmatoren er unbased. MSE

39 Test: Er modellen umagen værd? Hypoteser H 0 : β 1 = β 2 = = β k = 0 H 1 : Mndst et β j 0 (V kan lge så godt sge, at y erne alle har en og samme mddelværd) (Der er en lneær sammenhæng mellem y og mndst ét af x j erne) Hvs H 0 er sand: MSR = SSR/k også et estmat af σ 2. Hvs H 0 ej sand: Så er MSR generelt større end σ 2. Hvs H 0 sand: MSR/MSE ~ F(k,n-k-1)

40 ANOVA Tabellen Source of varaton Sums of squares df Mean Squares F-rato P-værd Regresson SSR k MSR=SSR/k MSR/MSE? Error SSE n-k-1 MSE= SSE/(n-k-1) Total SST n-1 Jo større F=MSR/MSE er, jo mndre tror v på H 0. P-værden er sandsynlgheden for at observere en større F værd næste gang, hvs H 0 er sand.

41 Eksempel (fortsat ) ANOVA b Model 1 Regresson Resdual Total Sum of Squares df Mean Square F Sg , , ,226,000 a , , , F = MSR / MSE = ,0 / 111,98 = 934,23 P-værden er mndre end 0,05, så afvser v H 0 hypotesen, dvs. Vægt har en lneær sammenhæng med enten Højde eller vægt eller begge.

42 Test for regressonsparametre Som smpel lneær regresson har v b ~ N( β, σ ( b hvor σ(b ) 2 estmeres ved s(b ) 2. Udregnngen af s(b ) 2 overlader v tl SPSS. ) 2 )

43 Test for regressonsparametre Test for hypotesen H H 0 1 : : β = 0 β 0 (Ingen lneær sammenhæng mellem y og x ) Teststørrelse: b s( b ) t( n k 1) Problem: Som ved varans-analysen har v problemer med det samlede sgnfkans-nveau når v laver mange test. ~

44 Eksempel Model 1 (Constant) h jde alder a. Dependent Varable: vægt Unstandardzed Coeffcents Coeffcents a Standardzed Coeffcents B Std. Error Beta t Sg. -102,949 4,037-25,499,000,968,022,672 43,159,000,162,012,215 13,835,000 Betragt H 0 : β 1 =0 (Ingen lneær samh. med højde) H 1 : β 1 0 b 0,968 t-teststørrelsen: t = = = 44 s( b ) 0,022 Da P-værden er mndre end 0.05, forkaster v H 0.