Simpel Lineær Regression - repetition

Transkript

1 Smpel Leær Regresso - repetto Spørgsmål: Afhæger leært af?. Model: β + β + ε ε d N(0, σ 0 ) Sstematsk kompoet + Stokastsk kompoet

2 Estmato - repetto Vha. Mdste Kvadraters Metode fder v regressosle hvor b b ˆ 0 Resdual: SS SS b b 0 + b ˆ e b0 b ˆ b + b 0 estmat af estmat af estmat af β β E( Y 0 X ) β 0 + β

3 Sums of Squares - bereggsformler ( ) ( ) ( ) ( )( ) ( ) ( ) SSE SSR SST b SS SSR b SS SS e SSE SS SST SS SS XY XY Y XY Y X + ˆ ˆ

4 Kovaras og Korrelato Defto af kovaras: Cov(X,Y)E((EX-μX )(EY-μY)) Defto af korrelatoskoeffcet: ρ ρ( X, Y ) σ Xσ Y ρ beskrver hvor høj grad der er e leær sammehæg mellem og. Estmat af ρ: r SS SS X Cov( X, Y ) XY SS Y

5 Determatoskoeffcete r Husk: SST Totale varato Defto: r SSR SST r [0,] SSR + SSE Forklarede varato + Resdual (dvs. uforklaret) varato SSE SST Forklaret varato Totale varato pr defto! Jo tættere r er på, jo mere af varatoe data er forklaret af modelle. r >0.8 er godt! Et meget højt r er dog mstækelgt.

6 Eksempler på r Y Y Y SST X SST X SST X r 0 SSE r 0.50 SSE SSR r 0.90 S S E SSR

7 Model Regresso Resdual Total a. Predctors: (Costat), h jde b. Depedet Varable: vægt ANOVA b Sum of Squares df Mea Square F Sg , , ,347,000 a 3069, 584 0, ,8 585 r SSR SST 88408, ,8 0,378 Model Model Summar Adjusted Std. Error of R R Square R Square the Estmate,64 a,378,377 0,9640 a. Predctors: (Costat), h jde

8 Modelkotrol For at kue stole på test og estmater skal v skre os, at modelles atagelser er overholdt! Er der e leær sammehæg mellem X og Y? ε ere er d (uafhæge og esfordelte) N(0,σ ).

9 Resdualaalse Bemærk at resdualet e ˆ er et estmat for ε. Dvs. e ere groft sagt skal opføre sg som..d. N(0,σ ) varable! Grafsk kotrol: Plot e ere mod eller ^.

10 Resdualplot Resdualer Resdualer 0 0 or $ or $ Homoskedastsk: Resdualere ser ud tl at varere ufahæggt af hade og. Heteroskedastsk: Varase for resdualere ædrer sg år ædrer sg. Resdualer Resdualer 0 0 Td Resdualere udvser leær tred med tde (eller ade varabel v kke har brugt). Dette dkerer at td skulle kluderes modelle. or $ Det buede møster dkerer e uderlæggede kke-leær sammehæg.

11 Resdualer SPSS I Lear Regresso vduet vælges Save I Save vduet vælges Ustadardzed både uder Reresduals (e ere) og Predcted Values (^ ere).

12 Efter edt regresso skaber SPSS to e søjler Data Edtor, der deholder resdualer ( RES_ ) og prædktoer ( PRE_ ). Derefter ka ma f lave scatter plots og hstogrammer.

13 Scatter plot af resdualer (e ere) mod hhv. højde ( ere) (øverst) og prædktoere (^ ere) (ederst). Ser jo gaske usstematsk ud!

14 Grafske check for Normalfordelg For at tjekke holdbarhede af atagelse om ormalfordelte fejlled: ( ε ~N(0,σ ) ) Lav et hstogram over resdualere og se efter om det ormalfordelt ud. Lave et ormalfordelgsplot (Q-Q plot). Lav et formelt χ -test for goodess of ft tl e ormalfordelg for resdualere (Kommer først Kap 4)

15 Hstogram af resdualer Det ser jo kke helt ormalfordelt ud

16 Normalfordelgsplot (Q-Q plot) For hvert resdual e udreger v q l + + m + hvor l er atallet af resdualer der er mdre ed e, og m er atallet af resdualer med samme værd som e. For hvert q fder v z, så P(Z z ) q, hvor Z~N(0,). Hvs e ere er ormalfordelte vl et plot af (e, z ) lgge på e ret le.

17 I SPSS hedder det et Q-Q plot Vælg Graphs Q-Q Ser kke helt ft ud Hvlket var forvetet... Flere eks. I boge

18 Prædkto de leære regress.model Puktprædkto: Hvlke værd vl forvetelgt atage, hvs atager e bestemt værd, f 0? ˆ b b Gaske smpelt ved at dsætte de estmerede le! Dvs. v prædkterer ^ b 0 +b som bedste bud på puktets værd. Bedst kke at prædktere for værder for lagt fra, hvor v har data!

19 Prædktosterval for observatoe X s t SS ) ( ) ( ˆ + + ± α Et (-α)00% kofdes terval for Y X er Hvor s MSE. Et (-α)00% kofdes terval for E(Y X) er X s t SS ) ( ) ( ˆ + ± α

20 Prædktosbåd Y Prædktosbåd for E[Y X] Regressosle Y Prædktosbåd for Y X Prædktosbådee fremkommer ved at betragte kofdestervallets edepukter som fukto af. X

21 Multpel leær regresso,,, k uafhægge varable (forklarede varable). Model: Eksempel: Y Vægt Y Vægt for te perso X Højde X Højde for te perso X Alder X Alder for te perso N Y k k,, ), (0,..d K L σ ε ε β β β β β ε β β β

22 Multpel regresso - llustrato β β ε β 0 0 β + β + β + ε

23 Parameter fortolkger Y 0 β + β + β + ε β 0 Værd af E(Y k 0) β j Kostat der sger, hvor meget E(Y X) ædrer sg hvs j vokser med og alle adre j er forblver uforadrede. Eks: β margal ædrg vægt som fukto af margal ædrg alder!

24 Forudsætger Leær sammehæg mellem Y og X j. X j ere er faste tal ε ~N(0,σ ) (uafhæggt af og adre ε) X ere skal være leært uafhægge

25 Model: 0 + β + β β + ε e Estmeret model: ˆ + b0 + b b Resdual: $ b + b + b 0 e ˆ

26 Estmato: Mdste kvadraters metode Mmer e k k SSE ( b b b b L b ) Matematsk set samme procedure som smpel leær regresso: Dffereter med hes tl b j, j,...,k og sæt de k lgger lg ul. Resultat: (k+) lgger med (k+) ubekedte.

27 Multpelregresso SPSS E måde at lave mutpel regresso på er vha. Lear Regresso fuktoe, hvor I blot dsætter flere varable som Idepedet.

28 Eksempel Model: Y β0 + β + β + ε, ε..d. N(0, σ ),, K, Y Vægt, X Højde og X Alder for te perso. Regressosle: ˆ b + b + 0 Coeffcets a b Model (Costat) h jde alder a. Depedet Varable: vægt Ustadardzed Coeffcets Stadardzed Coeffcets B Std. Error Beta t Sg. -0,949 4,037-5,499,000,968,0,67 43,59,000,6,0,5 3,835,000

29 Test: Er modelle umage værd? H : β β 0 L βk H : Ikke alle β j 0 Som sædvalgt har v: 0 (V ka lge så godt sge, at ere alle har e og samme mddelværd) (Der er e leær sammehæg mellem og mdst ét af j ere) SST SSE + SSR ( ) ( ) ˆ + ( ˆ )

30 ANOVA Tabelle Source of varato Sums of squares df Mea Squares F-rato P- værd Regresso SSR k MSRSSR/k MSR/MSE? Error Total SSE SST -k- - MSE SSE/(-k-) Jo mdre FMSR/MSE er, jo mere tror v på H o. P-værde fortæller, hvorår MSR/MSE er for stor. SSE Desude ˆ σ MSE dvs -(k+) frhedsgr. - (k + )

31 Eksempel (fortsat ) ANOVA b Model Regresso Resdual Total Sum of Squares df Mea Square F Sg. 0930,0 0465, ,6,000 a 8846,5 576, ,5 578 FMSR/MSE 0465,0/,98934,3 P-værde er mdre ed 0,05, så afvser v H 0 hpotese, dvs. v tror på at Vægt har e leær sammehæg med ete Højde eller vægt eller begge.

32 Determatoskoeffcete Som smpel leær regresso er R SSR SST Som før 0 R. SSE SST Forklaret varato Totale varato Hvs øger atallet af uafhægge varable ( ere) for e multpel regressosaalse, så vl R som regel vokse! Hvs v har observatoer og bruger e model med k-, så ka v opå R! Er det kke fatastsk?! Næh

33 Justeret R Adjusted R R adj R MSE MST SSE ( - (k + )) SST ( -) ( R ) - - (k + ) Adjusted R tager oge grad højde for, problemere med R år k er stor forhold tl. Hvs adj R vokser år t medtager, så er det ok værd at medtage det.

34 Test for regressosparametre Som smpel leær regresso har v b ~ N( β, σ ( b hvor σ(b ) estmeres ved s(b ). Udregge af s(b ) overlader v tl SPSS. ) )

35 Test for regressosparametre Test for hpotese H H 0 : : β 0 β 0 (Ige leær sammehæg mellem og ) Teststørrelse: b s( b ) t( k ) Problem: Som ved varas aalse har v problemer med det samlede sgfkas-veau år v laver mage test. ~

36 Eksempel Model (Costat) h jde alder a. Depedet Varable: vægt Ustadardzed Coeffcets Coeffcets a Stadardzed Coeffcets B Std. Error Beta t Sg. -0,949 4,037-5,499,000,968,0,67 43,59,000,6,0,5 3,835,000 Betragt H 0 : β 0 (Ige leær samh. med højde) H : β 0 b 0,968 t-teststørrelse: t 44 s( b ) 0,0 Da P-værde er mdre ed 0.05, forkaster v H 0.