Oversigt. 1 Gennemgående eksempel: Højde og vægt. 2 Korrelation. 3 Regressionsanalyse (kap 11) 4 Mindste kvadraters metode

Transkript

1 Kursus Introduktion til Statistik Forelæsning 11: Kapitel 11: Regressionsanalyse Oversigt 1 Gennemgående eksempel: Højde og vægt 2 Korrelation 3 Per Bruun Brockhoff DTU Compute, Statistik og Dataanalyse Bygning 324, Rum 220 Danmarks Tekniske Universitet 2800 Lyngby Danmark perbb@dtu.dk 4 5 Konfidensinterval for linien Prædiktionsinterval for linien 6 Korrelation og regression 7 R (R note 10) Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Gennemgående eksempel: Højde og vægt Højde og vægt af unge danske mænd Korrelation Korrelation X = Højde Y = Vægt n = 10 Korrelationskoefficienten r angiver den lineære sammenhæng mellem variablerne x og y Korrelationskoefficienten mellem 2 variable x og y estimeres ved r = 1 n 1 (x i x )(y i ȳ) s y Det antages her, at observationerne (x i, y i ) er sammenhørende værdier. Der gælder r [ 1 1] s x Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32

2 Korrelations-beregninger Korrelation Antag at Y er en stokastisk variabel. Vi er interesseret i at modellere Y s afhængighed af en forklarende variabel x Vi undersøger en lineær sammenhæng mellem Y og x, dvs. ved en regressionsmodel på formen Y = α + βx + ε Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Simpel lineær regressionsmodel Simpel lineær model Y = α + βx }{{} model + ε }{{} residual Y afhængig variabel x uafhængig variabel α skæring med Y-akse β hældning ε residual (tilfældig fejl) Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32

3 200 Scatterplot af x mod Y Antag at vi har observationerne x y Er der en sammenhæng mellem x og y? Vi foreslår en model på formen ŷ = a + bx Hvordan beregnes a og b? Y x Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / Regressionmodel Vi definerer Y x = S yy = S xy = (x i x) 2 (y i ȳ) 2 (x i x)(y i ȳ) Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32

4 a og b bestemmes ved b = S xy a = ȳ b x a og b er nu de værdier, der giver den regressionslinie, der minimerer den kvadratiske afstand mellem punkter og linie a er et estimat for α og b er et estimat for β Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 I eksemplet fås = S yy = S xy = (x i x) 2 = 143 (y i ȳ) 2 = (x i x)(y i ȳ) = 2119 samt x = 6.50 og ȳ = Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Estimater for α og β: b = S xy = = a = ȳ b x = = 4.34 Modellen bliver: ŷ = x Vi antager at de observerede data (Y i, x i ) kan beskrives ved modellen Y i = α + βx i + ε i hvor det antages at ε i er uafhængige normalfordelte stokastiske variable med middelværdi 0 og konstant varians σ 2 Et estimat af σ 2 bliver s 2 e = S yy (S xy ) 2 / n 2 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32

5 Antag at vi vil teste en hypotese om skæring med y-aksen Antag at vi vil teste en hypotese om hældningen β Teststørrelsen bliver t = (a a 0) s e H 0 : α = a 0 H 1 : α a 0 n + n( x) 2 Kritisk værdi findes i t-fordelingen, t α/2 (n 2) Teststørrelsen bliver H 0 : β = b 0 H 1 : β b 0 t = (b b 0) Sxx s e Kritisk værdi findes i t-fordelingen, t α/2 (n 2) Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Konfidensintervaller for α og β Konfidensinterval for α + βx 0 Konfidensinterval for linien Konfidensinterval for α Konfidensinterval for β a ± t α/2 s e 1 n + ( x)2 b ± t α/2 s e 1 Sxx Konfidensinterval for α + βx 0 svarer til et konfidensinterval for modellen i punktet x 0 1 (a + bx 0 ) ± t α/2 s e n + (x 0 x) 2 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32

6 Prædiktionsinterval for α + βx 0 Prædiktionsinterval for linien Korrelation og regression Korrelation og regression Korrelation og regression: Prædiktionsinterval for α + βx 0 svarer til et prædiktionsinterval for modellen i punktet x 0 (a + bx 0 ) ± t α/2 s e n + (x 0 x) 2 Et prædiktionsinterval bliver altså større end et konfidensinterval for fastholdt α r = Sxx Syy b, r 2 = S yy b 2 Korrelationen r udtrykker graden af lineær sammenhæng. Korrelationen kvadreret r 2 udtrykker "forklaringsgraden": S yy = Variation forklaret af linien +Uforklaret variation ( ) S yy = S2 xy + S yy S2 xy Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Inferens for korrelation Korrelation og regression R (R note 10) R (R note 10) Antager både y og x er tilfældige tal (IKKE kun y) r er et estimat for ρ - den underliggende sande lineære sammenhæng mellem y og x. Side (7ed: ): Formler for hypotesetest og konfidensinterval for korrelationskoefficienten. ρ = 0 er ensbetydende med β = 0 r = 0 er ensbetydende med b = 0 Hypotesetest om ρ = 0 kan udføres ved at teste β = 0 > fit.evap <- lm(evap ~ velocity) > summary(fit.evap) Call: lm(formula = evap ~ velocity) Residuals: Min 1Q Median 3Q Max Coefficients: Value Std. Error t value Pr(> t ) (Intercept) velocity Residual standard error: on 8 degrees of freedom Multiple R-Squared: F-statistic: on 1 and 8 degrees of freedom, the p-value is 2.286e-05 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32 Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32

7 R (R note 10) Oversigt 1 Gennemgående eksempel: Højde og vægt 2 Korrelation Konfidensinterval for linien Prædiktionsinterval for linien 6 Korrelation og regression 7 R (R note 10) Per Bruun Brockhoff (perbb@dtu.dk) Introduktion til Statistik, Forelæsning 11 Foråret / 32