Lineær regression. Simpel regression. Model. ofte bruges følgende notation:

Transkript

1 Lineær regression Simpel regression Model Y i X i i ofte bruges følgende notation: Y i 0 1 X 1i i n i 1 i 0

2 Findes der en linie, der passer bedst? Metode - Generel! least squares (mindste kvadrater) til hver X svarer en Y-værdi på linien Y i (hat) som angiver estimat af Y i for X i vertikal (langs y-aksen) afvigelse: Y i Y i residual

3 Vi søger den linie, der minimerer n Y i Y 2 i 1 n i 1 i 2 0! residual SS (SS res ) ~error SS SS res : den variabilitet for Y, der ikke forklares ved linien og dermed ved X

4 SS X i 1 Vi skal nu bruge n X i X 2 x 2 altså notation: x X i X og n SCP XY X i X Y i Y xy i 1 SCP: sum of cross-products xy BEMÆRK: n 1 betegnes kovarians, ofte cov(x,y)

5 Regressionskoefficient - b xy x 2 b ~ estimat for enhed: enhed Y enhed X b angiver ændring i Y for ændring på 1 for X hældning af linien

6 Skæring med Y-aksen a ~ estimat for linie entydigt bestemt ved og et talpar, f.eks. (0, Y 0 ) a Y 0, men vi mangler information istedet bruger vi a Y bx da X, Y kendes og må ligge på linien (kan vises teoretisk) a har samme enhed som Y

7 Med linien bestemt af Ŷ i a bx i er SS res mindst mulig dvs. "least squares" er fundet!

8 Formlen Ŷ i a bx i alternativt Ŷ i Y b X i X kan bruges til prædiktion af Y vha. X PAS PÅ med X-værdier uden for range [X min,x max ]!

9 Antagelser gælder i princippet KUN når man vil teste! 1) For hver X er Y NF (rettere ) 2) For hver X er var(y) ens (igen ) 3) For hver X ligger Y på samme rette linie (hvis opfylder 1) og 2), så gør Y også: linearitet) 4) Y udtaget tilfældigt og uafhængigt 5) X målt nøjagtigt (men IKKE nødvendigvis NF!) Afvigelser fra 1) - 3) kan ofte rettes ved transformationer

10

11 Test af regressionsparametre (Regression er faktisk når 0!) H 0 : 0 H A : 0 TO metoder

12 1) ANOVA SS total Y i Y 2, DF total n 1 SS regr Ŷ i Y 2, DF regr 1 SS regr SS total hvis linearitet SS res Y i Ŷ i 2, DF res n 2 SS total SS regr SS res : den variabilitet for Y, der ikke forklares ved linien og dermed ved X

13 F MS regr MS res 2 MS res s Y X, SE s Y X ensidet test med DF: 1, n-2 med 1 DF i tælleren peger dette mod t-fordelingen!

14 2) t-test (tosidet): H 0 : 0 H A : 0 GENEREL metode til test af parametre! t 0 SE b o s b da b og SE S b s b 2 s 2 Y X x 2 s b s Y X x 2

15 Konfidensinterval for parametre IGEN generelt (NF osv) CI parameterestimat t*se estimat CI for : b t 2, n 2 s b

16 Konfidensinterval for estimeret Y: ( konfidensbånd for hele linien) 1) m nye individer med X X i : SE s Ŷi m 2 s 1 Y X m 1 n X i X 2 x 2 hvor n er størrelsen af stikprøven, som regressionen er estimeret udfra GENEREL formel!

17 2) Populationens Y for givet X i : m 1/m 0 2 SE s Ŷi s Ŷi s 1 Y X n X i X 2 x 2 højre led i kantet parentes: for X i X : SE s Ŷi 2 s Y X n svarer til SE mindst mulig for X i 0, Y 0 a SE s a s Y X 2 1 n X2 x 2

18 3) Én ny måling, X i : m 1 1/m 1 SE s Ŷi 1 2 s Y X 1 1 n X i X 2 x 2 CI pop CI m CI 1

19

20 VIGTIGT residual-analyse residual E i Y i Y i plot E i mod X i eller Y i men IKKE mod Y i!!

21 Fortolkning Prædiktion lineær sammenhæng kausal sammenhæng! Kræver en faglig forståelse - som i øvrigt enhver sund H 0 Confounding

22 Replikation (ægte) k : antal X værdier n j 1 : antal observationer dvs.y værdier pr. X man skal IKKE benytte Y j for given X j til regression: information smides væk! Test for linearitet kan ikke (simpelt) udføres uden replikation for hver X j : vi har ingen variation på Y for givet X k N j 1 n j

23 N SS X X i X 2 x 2 i 1 SS X N 1 var X N SS Y Y i Y 2 y 2 i 1 SS Y N 1 var Y N SCP XY X i X Y i Y xy i 1 SCP XY N 1 cov X, Y

24 som tidligere: b xy x 2 og videre a Y bx SS regr xy 2 x 2, DF 1 SS res SS total SS regr y 2 SS regr

25 ANOVA-test, også som før Y ij Y Ŷ i Y Y ij Ŷ i ~ total regression residual med replikation kommer et within led til: (within X-værdierne) Y ij Y Y i Y Y ij Y i ~ total among within

26 SS among k ni Y ij 2 k n n i i Y ij 2 N j 1 DF among k 1 SS within SS total SS among DF within DF total DF among N 1 k 1 N k videre kan among opdeles: Y i Y Ŷ i Y Y i Ŷ i ~ among regression linearitetsafvigelse herefter linearitetsafvigelse: deviation

27 Samlet: Y ij Y Ŷ i Y Y i Ŷ i Y ij Y i ~ total regression deviation within-afvigelse SS dev SS among SS regr DF dev DF among DF regr k 2 i SS-termer: SS res SS total SS regr SS dev SS within SS among

28 To hypoteser 1) Linearitet (MS dev og MS within estimerer samme varians) H 01 : regression lineær H A1 : regression ikke lineær F MS dev MS within, DF k 1, N k 2) Som før H 02 : 0 H A2 : 0 TO muligheder!

29 A) Accept af H 01, altså linearitet F MS regr MS res, DF 1, N 2 hvor MS res er MS dev og MS within pooled B) Forkast af H 01, altså IKKE linearitet Her kan man ikke stole på prædikterede Y-værdier! Test af H 02 giver ikke mening! Forsøg eventuelt med transformationer!

30 Transformation af Y (X kan også transformeres, men dette har intet med antagelser om NF og homoskedasticitet af Y at gøre) OK hvis ikke NF og ikke homoskedasticitet men IKKE ok blot fordi man ikke har en ret linie! risiko for at transformeret Y ikke er NF eller homoskedastisk Prøv istedet med ikke-lineær, f.eks.polynomisk, regression - herom senere

31 The CORR Procedure 2 Variables: FEMUR1 ANATREG Simple Statistics Variable N Mean Std Dev Median Minimum Maximum FEMUR ANATREG SSCP Matrix FEMUR1 ANATREG FEMUR ANATREG CSSCP Matrix FEMUR1 ANATREG FEMUR ANATREG Covariance Matrix, DF = 19 FEMUR1 ANATREG FEMUR ANATREG Pearson Correlation Coefficients, N = 20 Prob > r under H0: Rho=0 FEMUR1 ANATREG FEMUR <.0001 ANATREG <.0001 Spearman Correlation Coefficients, N = 20 Prob > r under H0: Rho=0 FEMUR1 ANATREG FEMUR <.0001 ANATREG <.0001

32 The REG Procedure Model: MODEL1 Dependent Variable: ANATREG anatomically reconstructed stature adjusted for age Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr > F Model <.0001 Error Corrected Total Root MSE R-Square Dependent Mean Adj R-Sq Coeff Var Parameter Estimates Parameter Standard Variable Label DF Estimate Error Intercept Intercept FEMUR Variable Label DF t Value Pr > t Intercept Intercept FEMUR <.0001 Variable Label DF 95% Confidence Limits Intercept Intercept FEMUR

33 Obs FEMUR1 ANATREG _pred _resid _l95m _u95m

34 Prædiktion af middelværdi af Y for givet X

35 Prædiktion af individuel Y for givet X

36

37

38

39 The ANOVA Procedure Level of anatreg femur1 N Mean Std Dev

40

41 The REG Procedure Model: MODEL1 Dependent Variable: anatreg Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr > F Model <.0001 Error Corrected Total Root MSE R-Square Dependent Mean Adj R-Sq Coeff Var Parameter Estimates Parameter Standard Variable DF Estimate Error t Value Pr > t Intercept <.0001 femur <.0001

42 The ANOVA Procedure Class Levels Values Class Level Information femur Number of observations 190 Dependent Variable: anatreg Sum of Source DF Squares Mean Square F Value Pr > F Model <.0001 Error Corrected Total R-Square Coeff Var Root MSE anatreg Mean Source DF Anova SS Mean Square F Value Pr > F femur <.0001