Introdution ti Statisti Foreæsning 11: Tovejs variansanase, ANOVA enote 8: Tovejs variansanase (tovejs ANOVA) UAFHÆNGIGE grupper og bodesign der giver to fatorer Test om middeværdi for om mindst en gruppe er forseig de andre andres Mode Y ij = µ + α i + β j + ε ij Peder Bacher DTU Compute, Dnamise Sstemer Bgning 303B, Rum 009 Danmars Tenise Universitet 2800 Lngb Danmar e-mai: pbac@dtu.d Spring 2017 Specifie metoder, tovejs variansanase: ANOVA-tabe: SST = SS(Tr) + SS(B) + SSE SST, SS(Tr) og SS(B) beregnes som ved envejs ANOVA SSE = SST SS(Tr) SS(B) F-test Post hoc test(s): Parvise t-test med pooet varians estimat Hvis panagt på forhånd, så uden Bonferroni orretion Hvis ae sammenigninger udføres, så med Bonferroni orretion DTU Compute Introdution ti Statisti Forår 2017 1 / 38 DTU Compute Introdution ti Statisti Forår 2017 2 / 38 enote 8: Two-wa Anasis of Variance Oversigt INDEPENDENT treatments and boc design give two factors Test if mean for at east one group is different from the others Mode Y ij = µ + α i + β j + ε ij Specific methods, two-wa anasis of variance: ANOVA-tabe: SST = SS(Tr) + SS(B) + SSE SST, SS(Tr) and SS(B) cacuated as in one-wa ANOVA SSE = SST SS(Tr) SS(B) F-test Post hoc test(s): pairwise t-test with pooed variance estimate If panned on beforehand, then without Bonferroni correction If a sampes are compared, then with Bonferroni correction 1 Intro esempe 2 Mode 3 Beregning - variationsopspatning og ANOVA tabeen 4 Hpotesetest (F-test) 5 Post hoc sammenigninger 6 Mode ontro DTU Compute Introdution ti Statisti Forår 2017 3 / 38 DTU Compute Introdution ti Statisti Forår 2017 4 / 38
Intro esempe Tovejs variansanase - esempe Intro esempe Tovejs variansanase - esempe Samme data som for envejs, dog ved vi nu at forsøget var inddet i boe f.es: Behanding A Behanding B Behanding C Bo 1 2.8 5.5 5.8 Bo 2 3.6 6.3 8.3 Bo 3 3.4 6.1 6.9 Bo 4 2.3 5.7 6.1 tre grupper på fire boe eer tre behandinger på fire personer eer tre afgrøder på fire marer (deraf boe) eer anden ignende opdeing Envejs ANOVA: Compete randomized design Tovejs ANOVA: Randomized boc design Samme data som for envejs, dog ved vi nu at forsøget var udført på fire personer Besvarer: Behanding A Behanding B Behanding C Person 1 2.8 5.5 5.8 Person 2 3.6 6.3 8.3 Person 3 3.4 6.1 6.9 Person 4 2.3 5.7 6.1 Er der signifiant forse på middeværdien af behanding A, B og C? Variansanase (ANOVA) an anvendes ti anasen såfremt observationerne i hver gruppe an antages at være normafordete (dog med mange sampes dæer CLT) DTU Compute Introdution ti Statisti Forår 2017 6 / 38 DTU Compute Introdution ti Statisti Forår 2017 7 / 38 Intro esempe Intro esempe Spørgsmå signifiant effet Socrative.com, room: PBAC ## Observationer <- c(2.8, 3.6, 3.4, 2.3, 5.5, 6.3, 6.1, 5.7, 5.8, 8.3, 6.9, 6.1) ## Behandinger (grupper, afgrøder,...) treatm <- factor(c(1, 1, 1, 1, 2, 2, 2, 2, 3, 3, 3, 3)) ## Boe (personer, marer,...) boc <- factor(c(1, 2, 3, 4, 1, 2, 3, 4, 1, 2, 3, 4)) ## Ti former senere ( <- ength(unique(treatm))) ( <- ength(unique(boc))) ## Pots par(mfrow=c(1,2)) 3 4 5 6 7 8 3 4 5 6 7 8 ## Punterne inddet ved behandinger pot(treatm,, xab="", ab="") ## Punterne inddet ved boe pot(boc,, xab="", ab="") ## Pot box-pots inddet ved behandinger pot(treatm,, xab="", ab="") ## Pot box-pots inddet ved boe pot(boc,, xab="", ab="") Tror du at vi vi påvise en signifiant forse på (mindst en af) behandingerne? DTU Compute Introdution ti Statisti Forår 2017 8 / 38 DTU Compute Introdution ti Statisti Forår 2017 9 / 38
Intro esempe Spørgsmå signifiant effet Socrative.com, room: PBAC Mode Tovejs variansanase, mode 3 4 5 6 7 8 3 4 5 6 7 8 Opsti en mode hvor afvigesen Y ij = µ + α i + β j + ε ij, ε ij N(0,σ 2 ) ε ij N(0,σ 2 ) og i.i.d. Tror du at vi vi påvise en signifiant forse på boene (personer)? µ er middeværdi for ae måinger α i angiver effet for behanding i β j angiver niveau for bo j der er behandinger og boe j tæer fra 1 ti (måinger for behanding i) DTU Compute Introdution ti Statisti Forår 2017 10 / 38 DTU Compute Introdution ti Statisti Forår 2017 12 / 38 Mode Estimater af parametrene i modeen Beregning - variationsopspatning og ANOVA tabeen Tovejs variansanase, opspatning og ANOVA tabeen Vi an beregne estimater af parametrene ( ˆµ og ˆα i, og ˆβ j ) ## Sampe mean (muhat <- mean()) ## Sampe mean for hver behanding (aphahat <- tapp(, treatm, mean) - muhat) ## Sampe mean for hver bo (betahat <- tapp(, boc, mean) - muhat) ˆµ =ȳ = 1 ( 1 ˆα i = ˆβ j = ( 1 j=1 i=1 ij i=1 j=1 ij ) ˆµ ij ) ˆµ Med modeen an den totae variation i data opspates: Y ij = µ + α i + β j + ε ij, ε ij N(0,σ 2 ) SST = SS(Tr) + SS(B) + SSE Tovejs hentder ti, at der er to fatorer i forsøget Metoden ades variansanase, fordi testningen foregår ved at sammenigne varianser DTU Compute Introdution ti Statisti Forår 2017 13 / 38 DTU Compute Introdution ti Statisti Forår 2017 15 / 38
Beregning - variationsopspatning og ANOVA tabeen Former for vadratafvigesessummer Beregning - variationsopspatning og ANOVA tabeen Former for vadratafvigesessummer Kvadratafvigesessum ( den totae varians ) (samme som for envejs) SST = i=1 j=1 ( ij ˆµ) 2 Kvadratafvigesessum for behanding ( Varians foraret af behandingde af modeen ) SS(Tr) = ˆα i 2 i=1 Kvadratafvigesessum for boe (personer) ( Varians foraret af bode af modeen ) SS(B) = Kvadratafvigesessum af residuaer ( Varians tibage efter mode ) SSE = i=1 j=1 j=1 ˆβ 2 j ( ij ˆα i ˆβ j ˆµ) 2 DTU Compute Introdution ti Statisti Forår 2017 16 / 38 DTU Compute Introdution ti Statisti Forår 2017 17 / 38 Hpotesetest (F-test) Tovejs ANOVA: Hpotese om forseig effet af behanding Hpotesetest (F-test) Tovejs ANOVA: Hpotese om forseigt niveau for personer (boe) Vi vi nu sammenigne (fere end to) middeværdier µ + α i i modeen Opsti hpotesen Under H 0,Tr føger Y ij = µ + α i + β j + ε ij, ε ij N(0,σ 2 ) H 0,Tr : α i = 0 for ae i H 1,Tr : α i 0 for mindst et i F Tr = SS(Tr)/( 1) SSE/(( 1)( 1)) en F-distribution med 1 og ( 1)( 1) frihedsgrader Vi vi nu sammenigne (fere end to) middeværdier µ + β i i modeen Opsti hpotesen Under H 0,B føger Y ij = µ + α i + β j + ε ij, ε ij N(0,σ 2 ) H 0,B : β i = 0 for ae i H 1,B : β i 0 for mindst et i F B = SS(B)/( 1) SSE/(( 1)( 1)) en F-distribution med 1 og ( 1)( 1) frihedsgrader DTU Compute Introdution ti Statisti Forår 2017 19 / 38 DTU Compute Introdution ti Statisti Forår 2017 20 / 38
Hpotesetest (F-test) F-fordeing og hpotese for behandinger Hpotesetest (F-test) F-fordeing og hpotese for boe ## Hus, dette er under H0 (atså vi regner som om H0 er sand): ## Sevens ti pot xseq <- seq(0, 10, b=0.01) ## Pot F fordeingens tæthedsfuntion pot(xseq, df(xseq, df1=-1, df2=(-1)*(-1)), tpe="") ## Kritis værdi for signifians niveau 5 pct. cr <- qf(0.95, df1=-1, df2=(-1)*(-1)) ## Tegn den i pottet abine(v=cr, co="red") ## Test statistiens værdi: ## Værdien (Ftr <- (SSTr/(-1)) / (SSE/((-1)*(-1)))) ## p-værdien er da (1 - pf(ftr, df1=-1, df2=(-1)*(-1))) df(xseq, df1 = - 1, df2 = ( - 1) * ( - 1)) 0.0 0.2 0.4 0.6 0.8 1.0 ## Hus, dette er under H0 (atså vi regner som om H0 er sand): ## Sevens ti pot xseq <- seq(0, 10, b=0.01) ## Pot F fordeingens tæthedsfuntion pot(xseq, df(xseq, df1=-1, df2=(-1)*(-1)), tpe="") ## Kritis værdi for signifians niveau 5 pct. cr <- qf(0.95, df1=-1, df2=(-1)*(-1)) ## Tegn den i pottet abine(v=cr, co="red") ## Test statistiens værdi: ## Værdien (Fb <- (SSB/(-1)) / (SSE/((-1)*(-1)))) ## p-værdien er da (1 - pf(fb, df1=-1, df2=(-1)*(-1))) df(xseq, df1 = - 1, df2 = ( - 1) * ( - 1)) 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0 2 4 6 8 10 DTU Compute Introdution ti Statisti Forår 2017 21 / 38 xseq 0 2 4 6 8 10 DTU Compute Introdution ti Statisti Forår 2017 22 / 38 xseq Variansanasetabe Hpotesetest (F-test) Variations- Friheds- Kvadrat- Gns. vadratafv. Test- p- ide grader afvi. sum sum størrese F værdi Source of Deg. of Sums of Mean sum of Test- p- variation freedom squares squares statistic F vaue Behanding 1 SS(Tr) MS(Tr) = SS(Tr) 1 Boc 1 SS(B) MS(B) = SS(B) 1 Residua ( 1)( 1) SSE MSE = SSE ( 1)( 1) Tota n 1 SST anova(m( ~ treatm + boc)) F Tr = MS(Tr) MSE F B = MS(B) MSE ## Anasis of Variance Tabe ## ## Response: ## Df Sum Sq Mean Sq F vaue Pr(>F) ## treatm 2 30.79 15.40 74.40 5.8e-05 *** ## boc 3 3.95 1.32 6.37 0.027 * ## Residuas 6 1.24 0.21 ## --- ## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 P(F > FTr) P(F > FB) Hpotesetest (F-test) Prøv at se sammenhængen med boe efter varians af behandinger er foraret ## Se sammenhængen meem boe og residuaerne efter behandingerne fit <- m( ~ treatm) pot(boc, fit$residuas, xab="", ab="residuaer") Residuaer -1.0-0.5 0.0 0.5 1.0 1.5 DTU Compute Introdution ti Statisti Forår 2017 23 / 38 DTU Compute Introdution ti Statisti Forår 2017 24 / 38
Hpotesetest (F-test) QUIZ idt om ANOVA og hpotesetest Hpotesetest (F-test) ANOVA og hpotesetest quiz Socrative.com, room: PBAC ## Simuer data fra to-vejs mode (behandinger og boe) ## ## Sæt først behandingernes middeværdier: ens apha <- c(4, 4, 4) ## Sæt først boenes middeværdier: ens beta <- c(-1, -1, -1, -1) ## Anta behandinger og anta boe <- ength(apha) <- ength(beta) ## Simuer med normafordete afvigeser <- rep(apha, each=) + rep(beta, ) + rnorm(*, sd=2) ## Indsæt i dataframe D <- data.frame(, treatm=factor(rep(1:, each=)), boc=factor(rep(1:, ))) D ## Pots par(mfrow=c(1,2)) ## Pot box-pots inddet ved behandinger pot(d$treatm, D$, xab="", ab="", tpe='p') ## Pot box-pots inddet ved boe pot(d$boc, D$, xab="", ab="", tpe='p') 5 6 7 5 6 7 Burde vi nu påvise en signifiant effet her (α = 0.05)? DTU Compute Introdution ti Statisti Forår 2017 25 / 38 DTU Compute Introdution ti Statisti Forår 2017 26 / 38 Hpotesetest (F-test) ANOVA og hpotesetest quiz Socrative.com, room: PBAC Hpotesetest (F-test) Undersøg hvor ofte man aver en Tpe I fej 5 6 7 5 6 7 ## Anta gentageeser nrep <- 10000 signifeff <- ogica(nrep) ## for(i in 1:nRep){ print(i) ## Simuer med normafordete afvigeser D$ <- rep(apha, each=) + rep(beta, ) + rnorm(*, sd=2) ## Er der påvist en signifiant effet? ans <- anova(m( ~ treatm + boc, data=d)) signifeff[i] <- ans[1,"pr(>f)"] < 0.05 } ## Ved hvor stor en ande bev der påvist signifiant effet? sum(signifeff)/nrep Hver gang vi gentager esperimentet og testen nu, hvad er da sandsnigheden for vi påviser en signifiant effet ved signifiansniveau α = 0.05? A: 1% B: 5% C: 95% D: 99% E: Ved ie ## Fatis burde treatm fjernes når den er ie-signifiant DTU Compute Introdution ti Statisti Forår 2017 27 / 38 DTU Compute Introdution ti Statisti Forår 2017 28 / 38
Hpotesetest (F-test) ANOVA og hpotesetest quiz Socrative.com, room: PBAC Hpotesetest (F-test) Ændre middeværdi for en bo, så der nu simueres med en tdeig effet 2 3 4 5 2 3 4 5 Vi vi sjædnere ave fej hvis standardafvigesen på afvigeserne (ε i N(0,σ 2 )) gøres mindre? ## Ændre middeværdi for en bo, så der nu simueres med en tdeig effet ## Sæt først behandingernes middeværdier: ens apha <- c(4, 4, 4) ## Sæt først boenes middeværdier: sæt en højere beta <- c(-1, -1, 5, -1) ## Simuer med normafordete afvigeser D$ <- rep(apha, each=) + rep(beta, ) + rnorm(*, sd=2) ## Pots par(mfrow=c(1,2)) ## Pot box-pots inddet ved behandinger pot(d$treatm, D$, xab="", ab="", tpe='p') ## Pot box-pots inddet ved boe pot(d$boc, D$, xab="", ab="", tpe='p') DTU Compute Introdution ti Statisti Forår 2017 29 / 38 DTU Compute Introdution ti Statisti Forår 2017 30 / 38 Hpotesetest (F-test) Hpotesetest (F-test) ANOVA og hpotesetest quiz Socrative.com, room: PBAC ANOVA og hpotesetest quiz Socrative.com, room: PBAC 2 4 6 8 10 2 4 6 8 10 2 4 6 8 10 2 4 6 8 10 En middeværdi i beta er sat ti 5, bør vi da påvise en signifiant effet? Påvirer standardafvigesen på fejene nu hvor ofte vi ie får påvist en signifiant effet? DTU Compute Introdution ti Statisti Forår 2017 31 / 38 DTU Compute Introdution ti Statisti Forår 2017 32 / 38
Post hoc sammenigninger Post hoc onfidensinterva Post hoc sammenigninger Post hoc parvis hpotesetest Som ved envejs, sift (n ) frihedsgrader ud med ( 1)( 1) (og brug MSE fra tovejs). Gøres med enten behandinger eer boe En enet forudpanagt sammenigning af forsee på behanding i og j findes ved ( 1 ȳ i ȳ j ± t 1 α/2 MSE + 1 ) n i n j hvor t 1 α/2 er fra t-fordeingen med ( 1)( 1) frihedsgrader. Hvis ae ombinationer af parvise onfidensintervaer brug formen M gange, men med α Bonferroni = α/m In enet forudpanagt hpotesetest på α signifiansniveau om forse af behanding i og j H 0 : µ i = µ j, H 1 : µ i µ j udføres ved og ȳ i ȳ j t obs = ( ) (1) MSE 1ni + 1 nj p-vaue = 2P(t > t obs ) hvor t-fordeingen med ( 1)( 1) frihedsgrader anvendes Hvis ae M = ( 1)/2 ombinationer af hpotesetests: orrigeret signifians niveau α Bonferroni = α/m DTU Compute Introdution ti Statisti Forår 2017 34 / 38 DTU Compute Introdution ti Statisti Forår 2017 35 / 38 Varians homogenitet Mode ontro Normafordeingsantagese Mode ontro Se på box-pot om spredning af residuaer ser ud ti at afhænge af gruppen Se på qq-norma pot ## Gem fittet fit <- m( ~ treatm + boc) ## Box pot par(mfrow=c(1,2)) pot(treatm, fit$residuas,, xab="treatment") ## Box pot pot(boc, fit$residuas, xab="boc") -2-1 0-2 -1 0 ## qq-norma pot af residuaer qqnorm(fit$residuas) qqine(fit$residuas) ## Eer med et Wa pot require(mess) qqwrap <- function(x,,...) {qqnorm(, main="",...); qqine()} ## Kan vi se et afvigende qq-norm pot? wapot(fit$residuas, FUN = qqwrap) Treatment Boc DTU Compute Introdution ti Statisti Forår 2017 37 / 38 DTU Compute Introdution ti Statisti Forår 2017 38 / 38