Multipel Lineær Regression

Transkript

1 Multipel Lineær Regression Trin i opbygningen af en statistisk model Repetition af MLR fra sidst Modelkontrol Prædiktion Kategoriske forklarende variable og MLR

2 Opbygning af statistisk model Specificer model Ligninger og antagelser Estimer parametre Modelkontrol Er modellen passende Nej Ja Anvend modellen

3 Multipel lineær regression (Eksempel - i bogen) Eksempel: Y = Eport Eksport til Singapore i millioner $ X = M Money supply X = Lend Udlånsrente X 3 = Price Prisinde X 4 = Echange Vekselkurs ml. S pore $ og US $ Model: y i = β β β β 0 i i 3 3i 4 4i β ε i i.i.d N(0, ε i σ )

4 Model Model Summary b Adjusted Std. Error of Durbin- R R Square R Square the Estimate Watson,908 a,85,84,33577,583 R =0.85 betyder at modellen forklarer 8,5% af den totale variation i data. ANOVA b Model Regression Residual Total Sum of Squares df Mean Square F Sig. 3, ,37 73,059,000 a 6,990 6,3 39, F-testet af hypotesen H 0 :β = β = β 3 = β 4 =0 har P- værdi mindre end 0,05, så vi afviser H 0, dvs. Y har en lineær sammenhæng med mindst et X i, mao. kan modellen betale sig. Stemmer overens med R.

5 Test for regressionsparametre Test for hypotesen H H 0 : : βi = 0 β 0 i (Ingen lineær sammenhæng mellem y og i ) Teststørrelse: bi s( b i ) t( n k ) Problem: Som ved varians analysen har vi problemer med det samlede signifikans-niveau når vi laver mange test. ~

6 Test for regressionsparametre Model (Constant) M Lend Price Echange Unstandardized Coefficients a. Dependent Variable: Eports Coefficients a Standardized Coefficients 95% Confidence Interval for B B Std. Error Beta t Sig. Lower Bound Upper Bound -4,05,766 -,45,5-9,545,54,368,064,549 5,77,000,4,496,005,049,0,096,94 -,094,03,037,009,5 3,95,000,08,055,68,75,04,8,80 -,08,68

7 Simplere model Model: y i = β + β + β + ε ε i.i.d N(0, σ ) 0 i 3 3i i i

8 MLR og Modelkontrol Model: Y = β 0 + β + β + L+ β k k + ε i ε i.i.d Estimeret mode: y ˆ = b + b + b + L+ 0 i te residual: Standardiseret residual: e i = y i ei = MSE yˆ i e i s i b k k N(0, σ )

9 Forudsætninger. Lineær sammenhæng mellem y og i erne. i erne opfattes som faste tal 3. ε=fejlleddene antages at være uafhængige 4. E(ε)=0 5. V(ε)=σ konstant homoskedastisk 6. ε antages at være normalfordelt 7.,, k må ikke være indbyrdes lineært afh.

10 Grafisk modelkontrol Scatterplots Residualplots Histogrammer Normalfordelingsplot

11 Modelkontrol: Residualplots e i vs i e i vs i

12 Residual og normal fordelings plot e i vs i Norm.ford. plot

13 Outliers og Indflydelsesrige observationer y Regressionslinie uden outlier.. y Punkt med stor værdi af i * Regressions -linie med outlier Regressionslinie når alle data-punkter er inkluderet Outliers * Outlier Ingen sammenhæng mellem og y i denne klump Indflydelsesrig Observation Indflydelsesrig Observation

14 Prædiktion Model: Estimeret model: Punktestimat for μ Y : i k k Y ε β β β β = L 0 ) (0, i.i.d σ ε N i b k k b b b y = L 0 ˆ k k Y k Y k β β β β μ = = L K K 0,, ),, E( k k Y b b b b y k = = L K 0,, ˆ μ

15 Prædiktionsintervaller Et (-α)00% konfidensinterval for Y X= er yˆ ± t ( n k ) s ( yˆ) + α MSE Hvor s= MSE. Et (-α)00% konfidensinterval for E(Y X=) er yˆ ± t ( n k ) s ( yˆ) α

16 Eport Estimerede regressionplane for Eksempel - Estimerede regressionplane for Eksempel - M Price Prædiktions intervaller tilgængelige i SPSS for -værdier i data. Se under Save menuen.

17 Multipel lineær regression og kvalitative forklarende variable Y afhængig variabel og X er skala forklarende variabel og X er kvalitativ. Eksempel Y er vægt, X er højde og X er køn. Analyse af (X,Y) => Lineær regression Analyse af (X,Y) => Variansanalyse Analyse af (X,X,Y) => Rod

18 Antag X =0 hvis mand og X = hvis kvinde. Model: y = β + β + β + ε ε ~ N(0, σ 0 For mænd har vi X =0 og β β ε ε ~ N(0, σ 0 y = + + ) ) For kvinder har vi X = og β β β ε ε ~ N(0, σ 0 y = ) Bemærk: To linier med forskellige skæringspunkter, hhv β 0 og β 0 +β.

19 To regressions liner med forskellig skæring, men samme hældning Y Line for X = β 0 + β Line for X =0 β 0 X

20 Omkodning i SPSS I det konkrete data er køn lagret i variablen kon som tager værdierne og. Da vi skal bruge variabel med værdierne 0 og skaber vi en ny variabel kon=kon-. I SPPS anvendes Transform Compute

21 Model Regression Residual Total ANOVA b Sum of Squares df Mean Square F Sig. 045,9 0057,940 87,86,000 a 97054, , ,7 580 Model Model Summary Adjusted Std. Error of R R Square R Square the Estimate,635 a,404,403 0,7344 Model (Constant) h jde kon Unstandardized Coefficients Coefficients a Standardized Coefficients B Std. Error Beta t Sig. -43,47 5,3-8,3,000,68,09,473 3,47,000-6,0,56 -,6-0,78,000

22 Kvalitative variable mere end to niveauer dummy variable Hvis en kvalitativ variabel har mere end to kategorier anvender vi såkaldte dummy variable: Eksempel: Variabel Lønkategori med tre kategorier (Lav, Mellem og Høj) omkodes til to binære (0/ nul-et ) dummy variable og 3, der tager værdierne 0 og efter følgende system: Løn kategori 3 Dvs. hvis Lønkategori er Lav () 0 Mellem for i te person, så sætter vi Mellem () 0 i =0 og 3i =. Lønkategori Høj er Høj (3) 0 0 referencekategorien.

23 Antag X =0 hvis mand og X = hvis kvinde. Model: y = β + β + β + β + ε ε ~ N(0, σ For lav har vi X = og X 3 =0 og y = β + β + β + ε ε ~ N(0, σ 0 For mellem har vi X =0 og X 3 = og β β β ε ε ~ N(0, σ 0 3 y = For høj har vi X =0 og X 3 =0 og y = β + β + ε ε ~ N(0, σ 0 Bemærk: Tre linier med forskellige skæringspunkter, hhv β 0 +β, β 0 +β 3 og β 0. β 0 er referencepkt. ) ) ) )

24 b 0 +b 3 b 0 +b Y Linie for X = 0 og X 3 =, Mell. Linie for X = og X 3 = 0, Lav Linie for X = 0 og X 3 = 0, Høj b 0 X En En kvalitativ variabel med r kategorier repræsenteres ved (r-) 0/ ( nul-et ) dummyvariable. En En regression med en en kvantitativ vriabel (X (X )) og og to to kvalitative variable (X (X and X ): ): $y b b b b = Lønkat. X X 33 Lav 0 Mellem 0 Høj 0 0

25 Dummy variable i SPSS I SPSS anvend Transform Recode Into Different Variable Under Name: angiv navn på dummy variabel. Eksempel: Vi vil kode dummy variabel svarende til Mellemindkomst, dvs. lonkat= Vi kalder den nye variabel lonkat 4 3

26 lon skal svare til Mellemindkomst dvs lonkat= lonkat= => lonkat=0. I SPSS: Value =, New Value =0, Klik Add lonkat= => lonkat= lonkat=3 => lonkat=0 3

27 Dummyvariable Model (Constant) h jde lonkat lonkat a. Dependent Variable: vægt Unstandardized Coefficients Coefficients a Standardized Coefficients B Std. Error Beta t Sig. -8,874 5,070-6,49,000,890,09,65 30,776,000 -,57,663 -,05 -,303,0 -,478,683 -,06 -,700,484

28 Vekselvirkning Vi kan introducere en vekselvirkning mellem kvalitative og kvantitative variable. Eksempel: X er højde og X er køn (som før). Model: y = 0 3 β + β + β + β + ε ε ~ N(0, σ )

29 Y Linie for X =0 Hældning = b Linie for X = b 0 Hældning = b +b 3 b 0 +b For mænd har vi X =0 og y ˆ = b + b For kvinder har vi X = og y ˆ = b = b b b ( b b ) ( b b ) X

30 I SPSS definerer vi en ny variabel højde*køn vha. compute funktionen. Testet for hypotesen H 0 : β 3 =0 (ingen vekselvirkning) har P- værdi < Model (Constant) h jde køn højde*køn Unstandardized Coefficients Coefficients a Standardized Coefficients B Std. Error Beta t Sig. -64,77 7,90-8,803,000,797,04,553 9,65,000 34,769 0,04,47 3,463,00 -,36,058 -,43-4,069,000

31 Eksamensopgave 3 I finder den tredje eksamens opgave her: people.math.aau.dk/~kkb/undervisning/ha07/ Opgaveformulering med udgangspunkt i FAUST datasættet: På baggrund af data bedes I besvare følgende spørgsmål:. Hvilke forhold påvirker de ansattes vitalitet? Opstil en statistisk model, der beskriver vitaliteten og analyser denne model.. Hvorledes indvirker lønform og uddannelse på vitaliteten? Også her skal jeres konklusioner underbygges af en statistisk model og en tilhørende analyse.