k UAFHÆNGIGE grupper Oversigt 1 Intro eksempel 2 Model og hypotese 3 Beregning - variationsopspaltning og ANOVA tabellen 4 Hypotesetest (F-test)

Transkript

1 Kursus 02323: Introduktion til Statistik Forelæsning 11: Envejs variansanalse, ANOVA Peder Bacher DTU Compute, Dnamiske Sstemer Bgning 303B, Rum 009 Danmarks Tekniske Universitet 2800 Lngb Danmark Efterår 2018 Kapitel 8: Envejs variansanalse (envejs ANOVA) k UAFHÆNGIGE grupper Test om middelværdi for mindst en gruppe er forskellig fra de andre gruppers middelværdi Model Y ij = µ + α i + ε ij Specifikke metoder, envejs variansanalse: ANOVA-tabel: SST = SS(Tr) + SSE F-test Post hoc test(s): Parvise t-test med poolet varians estimat Hvis planlagt på forhånd, så uden Bonferroni korrektion Hvis alle sammenligninger udføres, så med Bonferroni korrektion DTU Compute Introduktion til Statistik Efterår / 28 DTU Compute Introduktion til Statistik Efterår / 28 Chapter 8: One-wa Analsis of Variance Oversigt k INDEPENDENT samples (s) Test if the mean of at least one of the s is different from the mean of the other s Model Y ij = µ + α i + ε ij Specific methods, one-wa analsis of variance: ANOVA-table: SST = SS(Tr) + SSE F-test Post hoc test(s): pairwise t-test with pooled variance estimate If planned on beforehand, then without Bonferroni correction If all samples are compared, then with Bonferroni correction 1 Intro eksempel 2 Model og hpotese 3 Beregning - variationsopspaltning og ANOVA tabellen 4 Hpotesetest (F-test) 5 Post hoc sammenligninger 6 Model kontrol DTU Compute Introduktion til Statistik Efterår / 28 DTU Compute Introduktion til Statistik Efterår / 28

2 Intro eksempel Intro eksempel Envejs variansanalse - eksempel Envejs variansanalse - eksempel Gruppe A Gruppe B Gruppe C Er der forskel (i middel) på grupperne A, B og C? Observationer <- c(2.8, 3.6, 3.4, 2.3, 5.5, 6.3, 6.1, 5.7, 5.8, 8.3, 6.9, 6.1) Grupper (behandlinger) treatm <- factor(c(1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 3)) Plot par(mfrow=c(1,2)) plot(as.numeric(treatm),, xlab="treatment", lab="") plot(treatm,, xlab="treatment", lab="") Variansanalse (ANOVA) kan anvendes til analsen såfremt observationerne i hver gruppe kan antages at være normalfordelte (vigtigt når man har få observationer, men jo flere man observationer man har des mindre vigtigt ifølge CLT) Treatment Treatment DTU Compute Introduktion til Statistik Efterår / 28 DTU Compute Introduktion til Statistik Efterår / 28 Model og hpotese Envejs variansanalse, model og hpotese Model og hpotese Envejs variansanalse, model og hpotese Opstil en model hvor det antages, at Y ij = µ + α i + ε ij ε ij N(0,σ 2 ) Hpotese Vi vil nu sammenligne (flere end to) middelværdier µ + α i i modellen Y ij = µ + α i + ε ij, ε ij N(0,σ 2 ) µ er samlet middelværdi α i angiver effekt af gruppe (behandling) i j tæller målinger i grupperne, fra 1 til n i i hver gruppe så vi opsætter hpotesen H 0 : α i = 0 for alle i H 1 : α i 0 for mindst et i DTU Compute Introduktion til Statistik Efterår / 28 DTU Compute Introduktion til Statistik Efterår / 28

3 Beregning - variationsopspaltning og ANOVA tabellen Envejs variansanalse, opspaltning og ANOVA tabellen Beregning - variationsopspaltning og ANOVA tabellen Formler for kvadratafvigelsessummer Med modellen Y ij = µ + α i + ε ij, ε ij N(0,σ 2 ) Kvadratafvigelsessum ( den totale varians ) kan den totale variation i Y opspaltes SST = SS(Tr) + SSE hvor SST: Kvadratafvigelsessum ( den totale varians ) SSE: Kvadratafvigelsessum af residualer ( varians tilbage efter model ) SS(Tr): Kvadratafvigelsessum af gruppering ( varians forklaret af model ) Envejs hentder til, at der kun er én faktor (én opdeling) i forsøget, på i alt k nivauer Metoden kaldes variansanalse, fordi testningen foregår ved at sammenligne varianser SST = k n i i=1 j=1 ( ij ȳ) 2 Kvadratafvigelsessum af residualer ( varians tilbage efter model ) SSE = k n i i=1 j=1 ( ij ȳ i ) 2 Kvadratafvigelsessum af gruppering ( varians forklaret af model ) SS(Tr) = k i=1 n i (ȳ i ȳ) 2 = SST SSE DTU Compute Introduktion til Statistik Efterår / 28 DTU Compute Introduktion til Statistik Efterår / 28 Beregning - variationsopspaltning og ANOVA tabellen Spørgsmål den totale varians (SST) Socrative.com, room: PBAC Beregning - variationsopspaltning og ANOVA tabellen Spørgsmål: residual variansen (SSE) Socrative.com, room: PBAC DATA 1 DATA 2 DATA 1 DATA 2 ȳ SST: ȳ SST: ȳ 1 ȳ 2 ȳ 3 SSE: 37.9 ȳ 1 ȳ 2 ȳ 3 SSE: For hvilken data er SST (totale variation) størst? A: DATA1 B: DATA2 C: Omtrent lige stor D: Ved ikke Svar A: Det er afstandene til ȳ (i anden og summeret) For hvilken data er SSE (residual variationen) størst? A: DATA1 B: DATA2 C: Omtrent lige stor D: Ved ikke Svar C: Det er afstandene til ȳ i (i anden og summeret) DTU Compute Introduktion til Statistik Efterår / 28 DTU Compute Introduktion til Statistik Efterår / 28

4 Hpotesetest (F-test) Hpotesetest (F-test) Envejs variansanalse, F-test Vi har altså SST = SS(Tr) + SSE og under H 0 : α i = 0 for alle i (dvs. ingen forskel i middelværdi), da vil teststatistikken SS(Tr)/(k 1) F = SSE/(n k) følge en F-fordeling, hvor k er antal nivauer af faktoren (antal grupper) n er antal observationer Signifikansniveau α vælges og teststatistikken F obs beregnes Teststatistikken sammenlignes med en fraktil i F fordelingen F F α (k 1,n k) DTU Compute Introduktion til Statistik Efterår / 28 F-fordeling Husk, dette er under H0 (altså vi regner som om H0 er sand): Antal grupper k <- 3 Antal punkter n <- 12 Sekvens til plot xseq <- seq(0, 10, b=0.1) Plot F fordelingens tæthedsfunktion plot(xseq, df(xseq, df1=k-1, df2=n-k), tpe="l", xlab="x", lab="f(x)") Kritisk værdi for signifikans niveau 5 % cr <- qf(0.95, df1=k-1, df2=n-k) Tegn den i plottet abline(v=cr, col="red") Test statistikkens værdi (Fobs <- (SSTr/(k-1)) / (SSE/(n-k))) p-værdien er da (1 - pf(fobs, df1=k-1, df2=n-k)) x DTU Compute Introduktion til Statistik Efterår / 28 f (x) Critical level for α = 0.05 Variansanalsetabel Hpotesetest (F-test) Hpotesetest (F-test) Spørgsmål ANOVA table Socrative.com, room: PBAC Variations- Friheds- Kvadrat- Gns. kvadratafv. Test- p- kilde grader afvig. sum sum størrelse F værdi Source of Deg. of Sums of Mean sum of Test- p- variation freedom squares squares statistic F value Gruppering k 1 SS(Tr) MS(Tr) = SS(Tr) k 1 Residual n k SSE MSE = n k SSE Total n 1 SST Alt dette beregnes med lm() og anova() anova(lm( ~ treatm)) F obs = MS(Tr) MSE Analsis of Variance Table Response: Df Sum Sq Mean Sq F value Pr(>F) treatm *** Residuals Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 P(F > F obs ) anova(lm( ~ treatm)) Analsis of Variance Table Response: Df Sum Sq Mean Sq F value Pr(>F) treatm * Residuals Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Hvad er den totale variation SST? A: B: 37.6 C: 70.9 D: Ved ikke Svar C: Det er summen af Sum Sq kolonnen DTU Compute Introduktion til Statistik Efterår / 28 DTU Compute Introduktion til Statistik Efterår / 28

5 Hpotesetest (F-test) Spørgsmål ANOVA table Socrative.com, room: PBAC Hpotesetest (F-test) Spørgsmål ANOVA table Socrative.com, room: PBAC anova(lm( ~ treatm)) Analsis of Variance Table Response: Df Sum Sq Mean Sq F value Pr(>F) treatm * Residuals Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Husk antagelsen om normalfordelte afvigelser ε ij N(0,σ 2 ) Hvad er ˆσ 2? A: B: C: 4.51 D: Ved ikke Svar A: ˆσ 2 = MSE = SSE n k = = 2.78 anova(lm( ~ treatm)) Analsis of Variance Table Response: Df Sum Sq Mean Sq F value Pr(>F) treatm * Residuals Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Konklusionen på 5% signifikansniveau test af: H 0 : α i = 0 for alle i? A: H 0 accepteres B: H 0 afvises C: Ved ikke Svar B: H 0 afvises da p-value < α: P(F > F obs ) = < α = 0.05 DTU Compute Introduktion til Statistik Efterår / 28 DTU Compute Introduktion til Statistik Efterår / 28 Post hoc sammenligninger Post hoc konfidensinterval Enkelt forudplanlagt konfidensinterval for forskel på to grupper En enkelt forudplanlagt sammenligning af forskelle på gruppe i og j findes ved ( 1 ȳ i ȳ j ± t 1 α/2 MSE + 1 ) n i n j hvor t 1 α/2 er fra t-fordelingen med n k frihedsgrader Forskel fra Welch two-sample test: Alle observationer er anvendt i beregningen af MSE = SSE/(n k) = s 2 p (i.e. pooled varians estimat med alle observationer) Mange konfidensintervaller Hvis alle M = k(k 1)/2 kombinationer af parvise konfidensintervaller udføres, brug da formlen M gange, men hver gang med α Bonferroni = α/m DTU Compute Introduktion til Statistik Efterår / 28 Post hoc sammenligninger Post hoc parvis hpotesetest Enkelt forudplanlagt t-test for forskel på grupper En enkelt forudplanlagt hpotesetest på α signifikansniveau om forskel af gruppe i og j H 0 : µ i = µ j, H 1 : µ i µ j udføres ved og ȳ i ȳ j t obs = ( ) MSE 1ni + 1 nj p-value = 2P(t > t obs ) hvor t-fordelingen med n k frihedsgrader anvendes Mange t-tests Hvis alle M = k(k 1)/2 kombinationer af hpotesetests udføres, da bruges det korrigerede signifikansniveau α Bonferroni = α/m DTU Compute Introduktion til Statistik Efterår / 28

6 Model kontrol Model kontrol Varians homogenitet Se på box-plot om spredning ser meget forskellig ud for hver gruppe Box plot plot(treatm,) Normalfordelingsantagelse Se på qq-normal plot qq-normal plot af residualer fit1 <- lm( ~ treatm) qqnorm(fit1$residuals) qqline(fit1$residuals) Eller med et Wall plot require(mess) qqwrap <- function(x,,...) {qqnorm(, main="",...); qqline()} Kan vi se et afvigende qq-norm plot? wallplot(fit1$residuals, FUN = qqwrap) Normal Q-Q Plot DTU Compute Introduktion til Statistik Efterår / 28 DTU Compute Introduktion til Statistik Efterår / 28