Module 1: Introduktion til R, simpel regression

Transkript

1 Department of Statistics ST502: Statistisk modellering Pia Veldt Larsen Module 1: Introduktion til R, simpel regression 1.1 Lineære modeller Simpel lineær regression Least squares line Modelcheck Inferens Prediktion Introduktion til R Download R Essentials Kort om opsætning Databehandling i R Simpel lineær regression Program Output Figurer Lineære modeller Beskriver variationen i variabel, når en/flere andre variable varierer, så Y i = β 0 + β 1 x 1i + β 2 x 2i + + β k x ki + ǫ i, i = 1,...,n, hvor E i uafhængige E (ǫ i ) = 0, i = 1,...,n. Desuden antages typisk: Varianshomogenitet: V ar (ǫ i ) = σ 2, i = 1,...,n. Normalitet: ǫ i N, i = 1,...,n.

2 1.1 Lineære modeller 2 Eksempel 1.1 Mobilitet af ældre To metoder bruges til at måle mobiliteten af ældre mennesker: TUG score (hurtig) Berg score (omstændelig, præcis) (F1) TUG score: Berg score: Mulig model? Eksempel 1.2 Papirstyrke Styrken (p.s.i.) blev målt for forskellige partier af Kraft Paper (kraftigt indpakningspapir). For hvert parti er også angivet andelen af hårdt-træ i papirmassen. (F2) Mulig model? Eksempel 1.3 Vind energi En undersøgelse blev lavet for at finde ud af, hvordan strømproduktionen fra vindmøller afhænger af vindhastigheden. (F3) Mulig model? Eksempel 1.4 Isforbrug og temperatur Isforbruget per inbygger (i pints per dag) blev målt i forskellige områder af USA om sommeren. Desuden blev, for hver måling af isforbrug, gennemsnitstemperaturen og gennemsnitsindkomsten i området noteret: (F4) Isforbrug (pints): Temperatur (Fahrenheit): Indkomst

3 1.2 Simpel lineær regression 3 Mulig model? Eksempel 1.5 Dopaminaktivitet i skizofrene patienter I et studie af skizofreni blev 25 indlagte skizofrene patienter behandlet med antipsykotisk medicin. Efter en given tid blev de klassificeret som psykotiske(x = 0) eller ikke-psykotiske (x = 1). Prøver af rygmarvsvæsken fra hver patient blev testet for aktivitet af enzymet dopamin b-hydroxylase. (F5) Mulig model? 1.2 Simpel lineær regression Simpel lineær regressionsmodel: Y i = β 0 + β 1 x i + ǫ i, i = 1,...,n, hvor Dss ǫ i N ( 0,σ 2) uafhængige i = 1,...,n. Y i N ( β 0 + β 1 x i,σ 2) uafhængige i = 1,...,n Least squares line Variationen af observerede data væk fra linien minimeret. Minimer m.h.t. β 0 og β 1 : n (y i β 0 β 1 x i ) 2. i=1 Giver ˆβ 1 = n i=1 (x i x)(y i ȳ) n i=1 (x i x) 2 og ˆβ 0 = ȳ ˆβ 1 x Regressionslinie: ŷ = ˆβ 0 + ˆβ 1 x

4 1.2 Simpel lineær regression 4 Eksempel 1.1 Mobilitet af ældre To metoder bruges til at måle mobiliteten af ældre mennesker: TUG score (x) og Berg score (Y ). Least squares linien: ŷ = x, i = 1,...,16. (F6) Estimat af varians af fejlled: s 2 = 1 n 2 n i=1 ( y i ˆβ 0 ˆβ 1 x i ) 2. Eksempel 1.1 Mobilitet af ældre To metoder bruges til at måle mobiliteten af ældre mennesker: TUG score (x) og Berg score (Y ). Variansestimat Modelcheck s 2 = 1 n 2 n (y i x i ) 2 = i=1 Modelantagelser for i = 1,...,n: Fraktildiagram for residualer Y i ǫ i 1 uafhængige uafhængige 2 normalfordelte normalfordelte 3 E[Y i ] = β 0 + β 1 x i E[ǫ i ] = 0 4 Var[Y i ] = σ 2 Var[ǫ i ] = σ 2 Residualplot for standardiserede residualer e i = y i β 0 β 1 x i, i = 1,...,n. e i = e i 1 hi, i = 1,...,n, hvor h i = 1 n + (x i x) 2 n i=1 (x i x) 2.

5 1.3 Inferens 5 Eksempel 1.1 Mobilitet af ældre To metoder bruges til at måle mobiliteten af ældre mennesker: TUG score (x) og Berg score (Y ). Least squares linien: ŷ = x, i = 1,...,16. (F7) 1.3 Inferens Test om regressionsparametre: Teststørrelser: H 0 : β 0 = β 00 eller H 0 : β 1 = β 10 ˆβ 1 β 10 S/ n i=1 (x i x) 2 t (n 2), ˆβ 0 β 00 1 S/ n + x2 n i=1 (x i x) 2 t (n 2). Konfidensintervaller for regressionsparametre. L 100%-konfidensinterval for β 0 : s C.I. L (y) = ˆβ0 ± t (1+L)/2 (n 2) 1 n + x2 /, n i=1 (x i x) 2 hvor t (1+L)/2 (n 2) er (1 + L)/2-fraktilen i en t (n 2)-fordeling. L 100%-konfidensinterval for β 1 : C.I. L (y) = ( ˆβ 1 ± t (1+L)/2 (n 2) ) s n i=1 (x, i x) 2 hvor t (1+L)/2 (n 2) er (1 + L)/2-fraktilen i en t (n 2)-fordeling. Eksempel 1.1 Mobilitet af ældre To metoder bruges til at måle mobiliteten af ældre mennesker: TUG score (x) og Berg score (Y ). Least squares linien: ŷ = x, i = 1,...,16.

6 1.4 Prediktion 6 95%-konfidensintervaller: β 0 : C.I (y) = (54.143,68.484), β 1 : C.I (y) = ( 1.953, 0.728). 1.4 Prediktion For x = x 0 er Forventet middelrespons: Ŷ 0 = ˆβ 0 + ˆβ 1 x 0. 95% konfidensinterval for middelrespons: C.I (y) = (ˆβ0 + ˆβ )) 1 x 0 ± t (n + 2) ˆσ (Ŷ0. Eksempel 1.1 Mobilitet af ældre To metoder bruges til at måle mobiliteten af ældre mennesker: TUG score (x) og Berg score (Y ). Least squares linien: ŷ = x, i = 1,...,16. 95%-konfidensinterval for forventet Berg score, for person med TUG score 10: C.I (y) = (46.103,49.717). For x = x 0 er Ny respons: Prediktor: Y new = β 0 + β 1 x 0 + e new, med e new N (0,1). Ŷ new = ˆβ 0 + ˆβ 1 x 0.

7 1.5 Introduktion til R 7 95% konfidensinterval for prediktion: ( ) C.I (y) = ˆβ 0 + ˆβ 1 x 0 ± t (n + 2) σ n + (x i x 0 ) 2 n i=1 (x i x) 2. Eksempel 1.1 Mobilitet af ældre To metoder bruges til at måle mobiliteten af ældre mennesker: TUG score (x) og Berg score (Y ). Least squares linien: ŷ = x, i = 1,...,16. 95%-prediktionsinterval for ny observation af Berg score, for person med TUG score 10: C.I (y) = (41.328,54.492). 1.5 Introduktion til R Statistisk programpakke: Hjemmeside: Gratis version af S+ Programmeringsprog Dataanalyse Statistiske analysemetoder Grafik Matrixalgebra Noter: Computernoter til hvert modul. Getting started in R af Saghir Bashir. Kan downloades gratis fra:

8 1.6 Download R Download R Gå ind i Windows (95 and later) - hvis du har Windows 3. Vælg base 4. Download rw2011.exe 5. Installer (a) OK el. Run, hvis sikkerhedsvindue kommer op (b) Vælg alle defaults 1.7 Essentials Start R: Start menu/ genvej på skrivebord Afslut R: q() og linieskift Hjælp: en af flg. help.start() starter on-line hjælpe help(xxx) eller?xxx starter hjælpside om kommandoen xxx help.search( XXX ) finder hjælp om emnet XXX Gem program (Script): 1. Klik på Console vinduet 2. Gå ind i File i top-menuen 3. Vælg Save History 4. Navngiv, og giv extension.r Gem output: 1. Klik på Console vinduet 2. Gå ind i File i top-menuen 3. Vælg Save to File 4. Giver tekstfil med indhold af Console vindue Gem figur: 1. Klik på figuren 2. Gå ind i File i top-menuen

9 1.8 Databehandling i R 9 3. Vælg Save as... og den ønskede filtype Indlæs program (Script): 1. Gå ind i File i top-menuen 2. Vælg Open script og lokaliser programfilen xxx.r 3. Åbner scriptfil i eget vindue 4. Kør programmet: highlight koden og tryk Ctrl-R Kort om opsætning > prompt ># kommentar >; eller lineskift ny kommando > Ctrl-c afbryd kommandolinien < vs sættes lig hs, fx > x< 2 c() vektor, fx > y< c(1,5,8,9) > z< x y > z[2] > [1] Databehandling i R Kursusnoter: Kort gennemgang af analyser i R til hvert modul. Getting started in R: Matematik, vektorer og matricer. Indlæsning af data. Hjælpesiderne i R!

10 1.9 Simpel lineær regression Simpel lineær regression Eksempel Mobilitet af ældre To metoder bruges til at måle mobiliteten af ældre mennesker: TUG score (hurtig) Berg score (omstændelig, præcis) Datasættet mobility.txt er kommasepareret tekstfil. Analyse: 1. xy-plot af Berg score mod TUG score. 2. Regression af Berg score på TUG score. 3. Least squares linien. 4. xy-plot med least squares linien. 5. Fordelinger af estimatorer til regressionsparametre 6. Variansestimat og fordeling af estimator 7. Modelkontrol. 8. Konfidensintervaller for regressionsparametre. 9. Prediktion af Berg score for TUG score t = Konfidensinterval for middel-berg score, når TUG score t = Prediktionsinterval for ny observation af Berg score, for person med TUG score t = Program # 0. Indlaes data mobility <- read.table("c:/data/mobility.txt", header=true, sep=",", na.strings="na", dec=".", strip.white=true) # 1. Aktiver datasaettet attach(mobility) # 2. xy-plot af TUG og Berg scores par(pty="s") plot(tug, berg, xlab="tug score", ylab="berg score")

11 1.9 Simpel lineær regression 11 # 3. Model: least squares line model <- lm(berg ~tug) model # 4. xy-plot med least squares line plot(tug, berg, xlab="tug score", ylab="berg score") abline(model) # Fordelinger af estimatorer for regr. par. og varians summary(model) # 7. Modelkontrol par(mfrow=c(1,2)) # Residual plot plot(fitted(model),resid(model),xlab="fitted values", ylab="residuals") title(main="residualplot") # Normalfordelings plot qqnorm(resid(model), xlab="observed quantiles", ylab="normal quantiles") # 8. Konfidensintervaller for regressionsparametre confint(model) # 9. Prediktion af berg, naar tug=10 newtug <- data.frame(tug=10) predict(model,newtug) # 10. Konfidensinterval for middel-berg score, naar tug=10 predict(model,newtug, interval="confidence") # 11. Prediktionsinterval for middel-berg score, naar tug=10 predict(model,newtug, interval="prediction") Output R : Copyright 2005, The R Foundation for Statistical Computing Version ( ), ISBN R is free software and comes with ABSOLUTELY NO WARRANTY. You are welcome to redistribute it under certain conditions.

12 1.9 Simpel lineær regression 12 Type license() or licence() for distribution details. R is a collaborative project with many contributors. Type contributors() for more information and citation() on how to cite R or R packages in publications. Type demo() for some demos, help() for on-line help, or help.start() for a HTML browser interface to help. Type q() to quit R. > # 0. Indlaes data > mobility <- read.table("c:/data/mobility.txt", header=true, + sep=",", na.strings="na", dec=".", strip.white=true) > > # 1. Aktiver datasættet > attach(mobility) > > # 2. xy-plot af TUG og Berg scores > par(pty="s") > plot(tug, berg, xlab="tug score", ylab="berg score") > > # 3. Model: least squares line > model <- lm(berg~tug) > model Call: lm(formula = berg ~ tug) Coefficients: (Intercept) tug > > # 4. xy-plot med least squares line > plot(tug, berg, xlab="tug score", ylab="berg score") > abline(model) >

13 1.9 Simpel lineær regression 13 > # Fordelinger af estimatorer for regr. par. og varians > summary(model) Call: lm(formula = berg ~ tug) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-11 *** tug *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 14 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 1 and 14 DF, p-value: > > # 7. Modelkontrol > par(mfrow=c(1,2)) > # Residual plot > plot(fitted(model),resid(model),xlab="fitted values", + ylab="residuals") > title(main="residualplot") > # Normalfordelings plot > qqnorm(resid(model), xlab="observed quantiles", + ylab="normal quantiles") > > # 8. Konfidensintervaller for regressionsparametre > confint(model) 2.5 % 97.5 % (Intercept) tug > > # 9. Prediktion af berg, når tug=10

14 1.10 Figurer 14 > newtug <- data.frame(tug=10) > predict(model,newtug) [1] > > # 10. Konfidensinterval for middel-berg score, når tug=10 > predict(model,newtug, interval="confidence") fit lwr upr [1,] > > # 11. Prediktionsinterval for middel-berg score, når tug=10 > predict(model,newtug, interval="prediction") fit lwr upr [1,] > (F8-10) 1.10 Figurer

15 1.10 Figurer 15 Berg score TUG score Figure 1.1: TUG score mod Berg score

16 1.10 Figurer 16 Styrke Procent hardwood Figure 1.2: Papirstyrke og indhold af hård træ.

17 1.10 Figurer 17 Strømproduktion Vindhastighed Figure 1.3: Strømproduktion og vindhastighed.

18 1.10 Figurer 18 Isforbrug Isforbrug Temperatur Indkomst Figure 1.4: (a) Isforbrug og temperatur, (b) isforbrug og indkomst.

19 1.10 Figurer 19 Dopaminaktivitet Psykotisk/ Ikke psykotisk Figure 1.5: Dopaminaktivitet i skizofrene patienter

20 1.10 Figurer 20 Berg score TUG score Figure 1.6: TUG score mod Berg score: least squares linie

21 1.10 Figurer 21 Residualplot Normal Q Q Plot residuals normal quantiles fitted values observed quantiles Figure 1.7: Mobilitet af ældre: modelcheck.

22 1.10 Figurer 22 Berg score TUG score Figure 1.8: TUG score mod Berg score.

23 1.10 Figurer 23 Berg score TUG score Figure 1.9: TUG score mod Berg score, least squares line.

24 1.10 Figurer 24 Residualplot Normal Q Q Plot residuals normal quantiles fitted values observed quantiles Figure 1.10: Mobilitet af ældre: modelcheck.