Plot af B j + ǫ ij (Y ij µ α i )): σ 2 : within blocks variance. σb 2 : between blocks variance



Relaterede dokumenter
Program. 1. Flersidet variansanalyse 1/11

To-sidet variansanalyse

Muligheder: NB: test for µ 1 = µ 2 i model med blocking ækvivalent med parret t-test! Ide: anskue β j som stikprøve fra normalfordeling.

Model. k = 3 grupper: hvor ǫ ij uafhængige og normalfordelte med middelværdi nul og varians σi 2, i = 1,2,3.

Program. 1. ensidet variansanalyse. 2. forsøgsplanlægning: blocking. 1/12

Program. 1. Varianskomponent-modeller (Random Effects) 2. Transformation af data. 1/12

Eksempel , opg. 2

Normalfordelingen. Det centrale er gentagne målinger/observationer (en stikprøve), der kan beskrives ved den normale fordeling: 1 2πσ

Modelkontrol i Faktor Modeller

To-sidet varians analyse

Hypoteser om mere end to stikprøver ANOVA. k stikprøver: (ikke ordinale eller højere) gælder også for k 2! : i j

Opgavebesvarelse, korrelerede målinger

Kapitel 12 Variansanalyse

Kapitel 12 Variansanalyse

Generelle lineære modeller

(tæt på N(0,1) hvis n ikke alt for lille). t i god til at checke for outliers som kan have stor indflydelse på estimaterne s 2 og ˆσ 2 e i

Program. Indhold af kursus i overskrifter. Farlighed af GM-majs? (Ingeniøren Generel lineær model/multipel regression

men nu er Z N((µ 1 µ 0 ) n/σ, 1)!! Forkaster hvis X 191 eller X 209 eller

Module 12: Mere om variansanalyse

Statistik Lektion 4. Variansanalyse Modelkontrol

Anvendt Statistik Lektion 9. Variansanalyse (ANOVA)

Forelæsning 11: Envejs variansanalyse, ANOVA

Program. Forsøgsplanlægning og tosidet variansanalyse. Eksempel: fuldstændigt randomiseret forsøg. Forsøgstyper

Økonometri: Lektion 5. Multipel Lineær Regression: Interaktion, log-transformerede data, kategoriske forklarende variable, modelkontrol

Anvendt Statistik Lektion 9. Variansanalyse (ANOVA)

Sidste gang: One-way(ensidet)/one-factor ANOVA I dag: Two-factor ANOVA (Analysis of variance) Two-factor ANOVA med interaktion

Oversigt. Kursus Introduktion til Statistik. Forelæsning 12: Variansanalyse. Per Bruun Brockhoff. Envejs variansanalyse - eksempel

Program. Residualanalyse Flersidet variansanalyse. Opgave BK.15. Modelkontrol: residualplot

Variansanalyse i SAS. Institut for Matematiske Fag December 2007

Kursus Introduktion til Statistik. Forelæsning 12: Variansanalyse. Per Bruun Brockhoff

Variansanalyse (ANOVA)

k UAFHÆNGIGE grupper Oversigt 1 Intro eksempel 2 Model og hypotese 3 Beregning - variationsopspaltning og ANOVA tabellen 4 Hypotesetest (F-test)

Lineær regression. Simpel regression. Model. ofte bruges følgende notation:

Tovejs-ANOVA (Faktoriel) Regler og problemer kan generaliseres til mere end to hovedfaktorer med tilhørende interaktioner

Module 12: Mere om variansanalyse

Program. Tosidet variansanalyse og forsøgsplanlægning. Repetition: ensidet variansanalyse. Eksempel: data fra Collinge et al

Indhold. 2 Tosidet variansanalyse Additive virkninger Vekselvirkning... 9

1. Lav en passende arbejdstegning, der illustrerer samtlige enkeltobservationer.

Klasseøvelser dag 2 Opgave 1

Oversigt. 1 Intro: Regneeksempel og TV-data fra B&O. 2 Model. 3 Beregning - variationsopspaltning og ANOVA tabellen. 4 Hypotesetest (F-test)

Program. Modelkontrol og prædiktion. Multiple sammenligninger. Opgave 5.2: fosforkoncentration

(studienummer) (underskrift) (bord nr)

Program. Sammenligning af grupper Ensidet ANOVA. Case 3, del II: Fiskesmag i lammekød. Case 3, del I: A-vitamin i leveren

Modul 11: Simpel lineær regression

Normalfordelingen. Statistik og Sandsynlighedsregning 2

Module 4: Ensidig variansanalyse

Eksamen i Statistik for biokemikere. Blok

Oversigt. 1 Intro: Regneeksempel og TV-data fra B&O. 2 Model og hypotese. 3 Beregning - variationsopspaltning og ANOVA tabellen

Reeksamen i Statistik for biokemikere. Blok

Opgaver til ZAR II. Afdeling for Anvendt Matematik og Statistik Michael Sørensen Oktober Opgave 1

Reminder: Hypotesetest for én parameter. Økonometri: Lektion 4. F -test Justeret R 2 Aymptotiske resultater. En god model

Normalfordelingen. Statistik og Sandsynlighedsregning 2

MPH specialmodul Epidemiologi og Biostatistik

Side 1 af 19 sider. Danmarks Tekniske Universitet. Skriftlig prøve: 15. december 2007 Kursus navn og nr: Introduktion til Statistik, 02402

Phd-kursus i Basal Statistik, Opgaver til 2. uge

Multipel regression. M variable En afhængig (Y) M-1 m uafhængige / forklarende / prædikterende (X 1 til X m ) Model

SPSS appendix SPSS APPENDIX. Box plots. Indlæsning. Faculty of Health Sciences. Basal Statistik: Sammenligning af grupper, Variansanalyse

Faculty of Health Sciences. SPSS appendix. Basal Statistik: Sammenligning af grupper, Variansanalyse. Lene Theil Skovgaard. 22.

SPSS appendix SPSS APPENDIX. Box plots. Indlæsning. Faculty of Health Sciences. Basal Statistik: Sammenligning af grupper, Variansanalyse

Variansanalyse (ANOVA)

Forelæsning 11: Tovejs variansanalyse, ANOVA

Program. Flersidet variansanalyse og hierarkiske modeller. Eksempel: iltoptag for krabber. Eksempel: iltoptag for krabber.

Naturvidenskabelig Bacheloruddannelse Forår 2006 Matematisk Modellering 1 Side 1

Økonometri: Lektion 4. Multipel Lineær Regression: F -test, justeret R 2 og aymptotiske resultater

To samhørende variable

(studienummer) (underskrift) (bord nr)

2 Opgave i hierarkiske normalfordelingsmodeller

Vejledende besvarelse af hjemmeopgave, efterår 2018

Tænk på a og b som to n 1 matricer. a 1 a 2 a n. For hvert i = 1,..., n har vi y i = x i β + u i.

k UAFHÆNGIGE grupper F-test Oversigt 1 Intro eksempel 2 Model og hypotese 3 Beregning - variationsopspaltning og ANOVA tabellen

Program. Konfidensinterval og hypotesetest, del 2 en enkelt normalfordelt stikprøve I SAS. Øvelse: effekt af diæter

Appendiks Økonometrisk teori... II

Statistisk forsøgsplanlægning. med benyttelse af Statgraphics

β 2 : forskel i skæring polymer 1 og 2. β 3 forskel i skæring polymer 1 og 3.

Module 3: Statistiske modeller

Program: 1. Repetition: p-værdi 2. Simpel lineær regression. 1/19

Statistik og Sandsynlighedsregning 2. Repetition og eksamen. Overheads til forelæsninger, mandag 7. uge

Reeksamen i Statistik for Biokemikere 6. april 2009

Hvorfor bøvle med MIXED

Eksempel Multipel regressions model Den generelle model Estimation Multipel R-i-anden F-test for effekt af prædiktorer Test for vekselvirkning

Fejlstrata. Vi forestiller os at V har. 1) Et underrum L. 2) Et indre produkt, 3) En ortogonal dekomposition V = W W m

Program. t-test Hypoteser, teststørrelser og p-værdier. Hormonkonc.: statistisk model og konfidensinterval. Hormonkoncentration: data

Løsning til øvelsesopgaver dag 4 spg 5-9

eksaminand nr Opgavesættet består af 3 sædvanlige (essay) opgaver samt et antal opgaver af multiple choice typen.

Dagens Emner. Likelihood teori. Lineær regression (intro) p. 1/22

Overlevelse efter AMI. Hvilken betydning har følgende faktorer for risikoen for ikke at overleve: Køn og alder betragtes som confoundere.

Dagens Temaer. Test for lineær regression. Test for lineær regression - via proc glm. k normalfordelte obs. rækker i proc glm. p. 1/??

Regressionsanalyse i SAS

Økonometri: Lektion 6 Emne: Heteroskedasticitet

Epidemiologi og Biostatistik

Analysestrategi. Lektion 7 slides kompileret 27. oktober :24 p.1/17

Side 1 af 17 sider. Danmarks Tekniske Universitet. Skriftlig prøve: 25. maj 2007 Kursus navn og nr: Introduktion til Statistik, 02402

Variansanalyse i SAS 1. Institut for Matematiske Fag December 2007

Notat: CarbonFarm, Økologi, Vadum, undersøgelse af betydningen af bæredygtige dyrkningssystemer

Eksamen i Statistik for biokemikere. Blok

Opgavebesvarelse, korrelerede målinger

Reeksamen i Statistik for biokemikere. Blok

Det kunne godt se ud til at ikke-rygere er ældre. Spredningen ser ud til at være nogenlunde ens i de to grupper.

Module 9: Residualanalyse

Vi sætter. (Signal støj- forhold) Poul Thyregod, 25. april Specialkursus vid.stat. foraar Lad Y i angiver observationer fra i te udtagne balle.

Transkript:

Plot af B j + ǫ ij (Y ij µ α i )): Program: res 4 2 0 2 B1 B2 B3 B4 B5 1. vi starter med at gennemgå opgave 3 side 513. 2. nyt: to-sidet variansanalyse 1 2 3 4 5 block σ 2 : within blocks variance σb 2 : between blocks variance Kan bruge værdier af σ 2 og σb 2 i forsøgsplanlægning: hvor mange blokke? hvor mange gentagelser pr. blok? 1 3 Modeller med tilfældige effekter Eksempel: 4 treatments, 5 blocks (opgave 3 side 513). Ensidet variansanalyse med blocking: Y ij = µ + α i + β j + ǫ ij Som oftest er vi dog ikke interesseret i de individuelle blok-effekter β j men snarere variationen mellem blok effekter. Da er model med tilfældige blok effekter mere relevant: Y ij = µ + α i + B j + ǫ ij Implementation i R > fit=lm(y~factor(treatment)+factor(block)) > anova(fit) Response: y factor(treatment) 3 23.238 7.746 3.3272 0.05651. factor(block) 4 45.283 11.321 4.8627 0.01453 * Residuals 12 27.937 2.328 hvor B j N(0,σ 2 B ), ǫ ij N(0,σ 2 ) og uafhængige. Dekomposition af varians: V ary ij = σ 2 B + σ2. 2 Test for treatment giver p-værdi 0.0561. Estimat af σ 2 og σb 2 (11.321 2.328)/4 = 2.248 (se WMMY). 4 er 2.328 og

Vha. lme(): > library(nlme) > fit=lme(y~factor(treatment),random=~1 block) > summary(fit)... Random effects: Formula: ~1 block (Intercept) Residual StdDev: 1.499391 1.525805 Fixed effects: y ~ factor(treatment) Value Std.Error DF t-value p-value (Intercept) 11.36 0.9566874 12 11.874307 0.0000 factor(treatment)2 0.92 0.9650040 12 0.953364 0.3592... > anova(fit) numdf dendf F-value p-value (Intercept) 1 12 288.9981 <.0001 factor(treatment) 3 12 3.3272 0.0565 5 Spørgsmål: hvilket mærke er bedst mht. vitamin? afhænger svaret af foregående spørgsmål af opbevaringstid i fryser? Interaktions plot: plot af ȳ ij mod enten i eller j: mean of Ascorbic.Acid 46 48 50 52 M R S Brand factor(time) 0 3 7 mean of Ascorbic.Acid 46 48 50 52 0 3 7 factor(time) Bruger interaction.plot(brand,factor(time),ascorbic.acid) i R. 7 Brand M R S To-sidet variansanalyse Model: Y ijk = µ ij + ǫ ijk = µ + α i + β j + (αβ) ij + ǫ ijk Eksempel: (opgave 2 side 533) vitamin indhold i frossen juice målt for ialt 9 kombinationer af mærke (Rich food, Sealed-sweet, Minute Maid) og tid i fryser (0, 3, 7 dage). 0 3 7 Richfood 52.6 54.2 49.4 49.2 42.7 48.8 i: rækker, j: søjler, k : gentagelser. ǫ ijk N(0,σ 2 ), uafhængige. Forskel mellem middelværdi mellem række i og i indenfor jte søjle: µ ij µ i j = µ+α i +β j +(αβ) ij (µ+α i +β j +(αβ) i j) = α i α i +(αβ) ij (αβ) i j 49.8 46.5... Sealed-sweet... Minute Maid... 4 gentagelser pr. kombination af de 2 faktorer. Bemærk: hvis (αβ) ij = 0 er forskel mellem rækker den samme α i α i søjler. Dvs. ingen vekselvirkning/interaktion. (αβ) ij : vekselvirkningsparameter. Vekselvirkning i vitamin data? for alle 6 8

Test for ingen vekselvirkning: > dyt=lm(ascorbic.acid~brand*factor(time))#brand*factor(time)) #det samme som A+B+A:B > anova(dyt) Response: Ascorbic.Acid Brand 2 32.752 16.376 1.7359 0.1953314 factor(time) 2 227.212 113.606 12.0429 0.0001825 *** Brand:factor(Time) 4 17.322 4.330 0.4591 0.7650253 Residuals 27 254.702 9.433 --- Vekselvirkning Brand:factor(Time) ikke signifikant. Hierarkisk princip Hvis to faktorer A og B har en signifikant vekselvirkning A : B så ved vi at A har en effekt som dog afhænger af B og omvendt! I dette tilfælde giver det ikke mening at teste om A og B hver især har en effekt. Hierarkisk princip: det giver ikke mening at teste ( hoved )-effekten af en faktor som vekselvirker med en anden faktor. F.eks. kan en ikke signifikant main effect skyldes at vekselvirkning skifter fortegn... Bog nævner problemstilling s. 522 uden dog at lægge meget vægt på det hierarkiske princip. 9 11 Tilpasser model uden vekselvirkning: > dyt.2=lm(ascorbic.acid~brand+factor(time)) > anova(dyt.2) Eksempel (opgave 6 side 534): målinger af klæbrighed af gummi produkter produceret med/uden et bestemt stof og ved 4 forskellige temperaturer. Ialt 8 kombinationer med 4 gentagelser pr. kombination. Interaktionsplot: Response: Ascorbic.Acid Brand 2 32.752 16.376 1.8662 0.1717 factor(time) 2 227.212 113.606 12.9466 8.179e-05 *** Residuals 31 272.024 8.775 Brand ikke signifikant, men Time er. mean of Adhesiveness 3.0 3.2 3.4 3.6 3.8 4.0 50 60 70 80 Additive 1 0 mean of Adhesiveness 3.0 3.2 3.4 3.6 3.8 4.0 0 1 Temp 50 70 60 80 Temp Additive 10 12

Test for interaktion: > baat=lm(adhesiveness~factor(temp)*factor(additive)) > anova(baat) Response: Adhesiveness factor(temp) 3 0.80594 0.26865 3.4069 0.0338054 * factor(additive) 1 1.75781 1.75781 22.2919 8.432e-05 *** factor(temp):factor(additive) 3 1.79344 0.59781 7.5812 0.0009803 *** Residuals 24 1.89250 0.07885 Meget signifikant interaktion. Modelkontrol Varianshomogenitet: Bartlett-test og plots. Normalitet: residualer ordnet efter forventet, qqnorm indenfor grupper eller baseret på alle de studentiserede residualer. resid. ordnet efter forventet værdi studenter[order(fitted(dyt.2))] 2 1 0 1 2 qq-plot af studentiserede residualer: Sample Quantiles 2 1 0 1 2 Normal Q Q Plot 2 1 0 1 2 Går derfor ikke videre med test for main effects af Temp og Additive. 0 5 10 15 20 25 30 35 Index Theoretical Quantiles 13 15 Fortolkning af parametre > bartlett.test(ascorbic.acid~groups) > summary(baat)... Estimate Std. Error t value Pr(> t ) (Intercept) 2.8750 0.1404 20.476 < 2e-16 *** factor(temp)60 0.6000 0.1986 3.022 0.005893 ** factor(temp)70 1.0250 0.1986 5.162 2.76e-05 *** factor(temp)80 0.3250 0.1986 1.637 0.114727 factor(additive)1 1.2000 0.1986 6.043 3.06e-06 *** factor(temp)60:factor(additive)1-0.9250 0.2808-3.294 0.003056 ** factor(temp)70:factor(additive)1-1.3000 0.2808-4.629 0.000107 *** factor(temp)80:factor(additive)1-0.7000 0.2808-2.493 0.019972 *... Reference celle er Temp=50 og Additive 0. factor(temp)80:factor(additive)1 er ændring i forskel mellem Additive 0 og Additive 1 når Temp==80. 14 Bartlett test of homogeneity of variances data: Ascorbic.Acid by groups Bartlett s K-squared = 9.8137, df = 8, p-value = 0.2783 Boxplot og plot af gruppe empiriske varianser vs. empiriske middelværdier (vitamin data): 40 45 50 55 0 3 7 10 13 17 20 23 27 empvars 0 5 10 15 7 17 13 16 27 23 3 46 48 50 52 empmeans 10 0 20

Tresidet variansanalyse Eksempel: (log) løn vs. køn, race og stillingstype (fuld tid/deltid). > sal.fit=lm(log(earnings)~gender*race*type) > anova(sal.fit) Response: log(earnings) gender 1 0.005 0.005 0.1447 0.70370 race 2 6.215 3.108 87.9382 < 2e-16 *** type 1 4.952 4.952 140.1385 < 2e-16 *** gender:race 2 0.239 0.120 3.3862 0.03406 * gender:type 1 0.155 0.155 4.3793 0.03652 * race:type 2 0.118 0.059 1.6638 0.18973 gender:race:type 1 0.189 0.189 5.3565 0.02076 * Residuals 1734 61.279 0.035 Vender tilbage til blocking Den ensidige variansanalyse med blocking Y ijk = µ + α i + β j + ǫ ij er egentlig blot en to-sidet variansanalyse uden vekselvirkning. Dvs. når man bruger blocking bør man checke for vekselvirkning mellem blokke og behandlinger! (se side 492-493 // 543 i WMMY) Signifikant tredieordens interaktion. 17 19 Tovejs variansanalyse med tilfældig vekselvirkning Interaktionsplot delt op efter stillingstype: mean of logearn[ft == "FT"] 9.85 9.90 9.95 10.00 F Fuld tid gender[ft == "FT"] M race[ft == "FT"] White Black Other mean of logearn[ft == "PT"] 9.74 9.78 9.82 9.86 F Deltid gender[ft == "PT"] M race[ft == "PT"] Karakter af tovejs-interaktion race*gender afhænger af stillingstype! Dvs. 3 vejs-interaktion. Black White Other Afprøvning af 2 slags gødninger: marken inddeles i 3 blokke så hver blok har homogen fertilitet. Hver blok inddeles i 2 delplot og indenfor hver blok tildeles de 2 gødninger tilfældigt til hver delplot (4 gentagelser for hvert delplot): Block 1 f1 f2 Block 2 f2 f1 Block 3 f1 f2 Tosidet variansanalyse: Y ijk = µ + α i + β j + (αβ) ij + ǫ ijk Alternativ: tilfældig blok og delplot effekter: Y ijk = µ + α i + B j + C ij + ǫ ijk hvor B j N(0,σ 2 B ), C ij N(0,σ 2 P ) og ǫ ijk N(0,σ 2 ). 18 V ary ijk = σ 2 B + σ2 P + σ. 20

Vha. anova (WMMY Table 14.10 s. 545 // Table 14.14 s. 600-601) Alm. to-sidet variansanalyse > anova(lm(yield~factor(block)*factor(goedn))) Response: yield factor(block) 2 20.002 10.001 1550.4 < 2.2e-16 *** factor(goedn) 1 252.324 252.324 39115.5 < 2.2e-16 *** factor(block):factor(goedn) 2 16.171 8.086 1253.4 < 2.2e-16 *** Residuals 18 0.116 0.006 Signifikant block*gødning vekselvirkning men svarer blot til delplot-specifikke effekter. 21 > anova(lm(yield~factor(block)*factor(goedn))) Response: yield factor(block) 2 20.002 10.001 1550.4 < 2.2e-16 *** factor(goedn) 1 252.324 252.324 39115.5 < 2.2e-16 *** factor(block):factor(goedn) 2 16.171 8.086 1253.4 < 2.2e-16 *** Residuals 18 0.116 0.006 --- Signif. codes: 0 *** 0.001 ** 0.01 * 0.05. 0.1 1 > (8.086-0.006)/4 [1] 2.02 > (10.001-8.086)/(2*4) [1] 0.239375 23 Analyse vha model med tilfældig block og plot virkninger: >fit=lme(yield~factor(goedn),random=~1 block/plot) > summary(fit)... Random effects: Formula: ~1 block (Intercept) StdDev: 0.4893274 Formula: ~1 plot %in% block (Intercept) Residual StdDev: 1.421188 0.08031649 Fixed effects: yield ~ factor(goedn) Value Std.Error DF t-value p-value (Intercept) 16.932688 0.8681069 18 19.505302 0.0000 factor(goedn)2-6.484907 1.1608582 2-5.586305 0.0306 Varianskomponenter 0.49 2 (block), 1.42 2 (plot) og 0.08 2 (residual). Gødning signifikant. 22