Variansanalyse. Variansanalyse. Basal Statistik Variansanalyse

Transkript

1 Basal Statistik Variansanalyse 4 september 013 Michael Gambor Institut for sydomsforebyelse Københavns Universitetshospital michael.orland.ambor@reionh.dk Lene Theil Skovaard biostat.ku.dk/~lts/basal/overheads/anova.pdf Variansanalyse Variansanalyse Fordelinsantaelse En-sidet To-sidet Interaktion Model kontrol ANOVA ANalysis Of VAriance Typiske problemstilliner Hvordan afhæner behandlinen af sydomstadium Er der forskel i effekten af diverse præperater til nedsættelse af blodtrykket Afhæner lunefunktionen af ryestatus? O af fysiskaktivitet? Datastruktur Ensidet variansanalyse Et antal personer (N) opdelt i veldefinerede rupper (k) Tosidet variansanalyse Personerne er inddelt efter flere forskellie indelinskriterier, f. eks. Rynin o fysiskaktivitet E013 Basal Statistik - Variansanalyse 3 E013 Basal Statistik - Variansanalyse 4

2 Én-sidet To-sidet Fler-sidet Variansanalyse En faktor med mere end rupper To faktorer Flere faktorer Variansanalyse Sammenliner varianser mellem rupper med varianser indenfor rupper Variansen inden for rupper er den bioloiske variation. En-sidet variansanalyse med rupper eller niveauer er præcis det samme som et t-test Hvis den bioloiske variation er stor vil den tilfældie variation mellem rupperne oså blive stor E013 Basal Statistik - Variansanalyse 5 E013 Basal Statistik - Variansanalyse 6 Én-sidet Variansanalyse Kvalitativ faktor & kvantitativ respons Eksempel: ptt. bypass-operationer, 3 slas ventilation (randomiseret) Gruppe I 50% NO, 50% O i 4 timer Gruppe II 50% NO, 50% O under op. Gruppe III 30 50% O (inen NO) i 4 timer Er der forskel på fordelinen af responset (red cell foliate) i de tre rupper? Er der forskel på niveauerne i de tre rupper? E013 Basal Statistik - Variansanalyse 7 Én-sidet Variansanalyse Kan vi ikke bare sammenline rupperne parvis med t-test Problem: Massesinifikans (se senere) axis1 ORDER = (1 to 3 by 1) OFFSET=(8,8) LABEL=(H= 'ruppe nr.') VALUE=(H=) MINOR=none ; axis OFFSET=(1,1) LABEL=(a=90 R=0 H= 'red cell foliate') VALUE=(H=) MINOR=none ; symbol1 V=circle I=none H= C=black ; PROC GPLOT DATA=sasuser.redcell; PLOT redcell*rp/frame haxis=axis1 vaxis=axis; E013 Basal Statistik - Variansanalyse 8

3 Én-sidet Variansanalyse Én-sidet Variansanalyse Én-sidet Der kun er et inddelinskriterium, f.eks. som her ventilerinsmetode Variansanalyse: Fordi man sammenliner variansen mellem rupper med variansen indenfor rupper Antaelser: Alle observationer er uafhænie (personerne år ikke ien flere ane, inen tvilliner o.l.) Inden for hver ruppe er observationerne normalfordelt Der er samme varians indenfor rupperne Model Yi i te observation i ruppe nr. = µ + ε middelværdi for ruppe nr. i individuel afvielse Observationerne antaes at føle en normalfordelin (inden for hver ruppe) med samme varians. ε i ~ N(0, σ ) Y i ~ N( µ, σ ) E013 Basal Statistik - Variansanalyse 9 E013 Basal Statistik - Variansanalyse 10 Én-sidet Variansanalyse Vi undersøer om alle k rupper kan tænkes at have samme middelværdi H 0 : µ 1 = µ = L = µ k Variansestimaterne for hver ruppe pooles til et fælles estimat for variansen indenfor rupper H 0 testes ved at betrate forholdet mellem variationen mellem rupper o det fælles estimat for variansen indenfor rupper E013 Basal Statistik - Variansanalyse 11 Kvadratsummer Opspaltnin af observationer: y y i y i-te observation i -te ruppe ennemsnit i -te ruppe totalennemsnit i, y i y = ( y y ) + ( y y ) i Opspaltnin af variation (kvadratsum, sum of squares, SAK/SS): ( yi y.) = ( yi y ) + ( y y.) i, i, indenfor rupper mellem rupper E013 Basal Statistik - Variansanalyse 1

4 i, Kvadratsummer ( yi y) = ( yi y ) + ( y y.) i, i, indenfor rupper SAK tot = SAK res +SAK rp SS tot = SS w + SS b SSD tot = SSD w + SSD b mellem rupper SAK: Sum af Afvielses Kvadrater SS(D): Sum of Squares (of deviation) Kvadratsummer Opdelin af variansen Mellem rupper SAK rp (SS b ) Indenfor rupper SAK res (SS w ) Total variationen SAK tot (SS tot )opdeles i de to varians-komponenter SAK tot = SAK rp + SAK res E013 Basal Statistik - Variansanalyse 13 E013 Basal Statistik - Variansanalyse 14 Mellem rupper De forskelle der er mellem f.eks. Ryere o ikkeryer eller mellem social klasser Indenfor rupper De forskelle der er mellem f.eks. Individer Indenfor rupper-variansen kaldes oså residual eller rest-variansen. Kvadratsummer E013 Basal Statistik - Variansanalyse 15 F-Test Middelkvadratsummer (Mean Squares MS) MS w = SS w / (N-k): Poolet varians MS b = SS b / (k-1): Varians mellem ruppe ennemsnittene MS Teststørrelse: F = MS Vi forkaster hvis F er stor, altså hvis variationen mellem rupperne er stor i forhold til variationen indenfor rupper E013 Basal Statistik - Variansanalyse 16 b w

5 Variansanalyseskema Varianstype SS df MS F = Mellem rp. SS k-1 SS/df MS/MS Indenf. rp SS N-k SS/df Total N-1 Varianstype SS df MS F = Mellem rp Indenf. rp Total E013 Basal Statistik - Variansanalyse 17 Ensidet ANOVA i SAS Data sættes op i variabler, en med outcome (redcell) o en med klassifikationsvariablen (rp) PROC GLM DATA=sasuser.redcell; CLASS rp; MODEL redcell=rp; Sum of Source DF Squares Mean Square F Value Pr > F Model Error Corrected Total R-Square Coeff Var Root MSE redcell Mean Source DF Anova SS Mean Square F Value Pr F rp E013 Basal Statistik - Variansanalyse 18 Ensidet ANOVA i SAS Hvis man oså vil have estimater o konfidensrænser...o det vil man ALTID: PROC GLM DATA=sasuser.redcell; CLASS rp; MODEL redcell=rp / solution clparm; Normalfordelinsantaelsen Det er antaet, at observationerne føler en normalfordelin inden for hver ruppe Dette bør checkes, f.eks.: ved at tene historammer eller fraktil-diarammer for hver ruppe ved at tene historam eller fraktildiaram for residualerne r i = Y ˆ µ = Y i i _ Y ved at lave normalfordelinstest, enten for hver ruppe for si, eller samlet for residualerne E013 Basal Statistik - Variansanalyse 19 E013 Basal Statistik - Variansanalyse 0

6 Normalfordelinsantaelsen Normalfordelinsantaelsen PROC GLM DATA=sasuser.redcell; CLASS rp; MODEL redcell=rp / solution clparm; OUTPUT OUT=ny P=predikt R=resid; QUIT; PROC UNIVARIATE normal DATA=ny; VAR resid; HISTOGRAM / normal cfill=ray heiht=3; PROBPLOT / normal(mu=est SIGMA=est L=33); E013 Basal Statistik - Variansanalyse 1 Historam, med overlejret normalfordelin: Flot er det jo ikke men hvad kan man forvente med kun observationer... E013 Basal Statistik - Variansanalyse Normalfordelinsantaelsen Probability plot: Normalfordelinstest: Tests for Normality Test Statistic p Value Shapiro-Wilk W Pr < W Kolmoorov-Smirnov D Pr > D > Cramer-von Mises W-Sq Pr >W-Sq >0.500 Anderson-Darlin A-Sq Pr > A-Sq >0.500 Her er normalfordelinsantaelsen tilsyneladende OK E013 Basal Statistik - Variansanalyse 3 Varianshomoenitet En af forudsætninerne for den ensidede variansanalyse er, at der er samme varians i alle rupper. PROC GLM DATA=sasuser.redcell; CLASS rp; MODEL redcell=rp / solution clparm; MEANS rp / HOVTEST=levene ; OUTPUT OUT=ny P=predikt R=resid; QUIT; axis3 OFFSET=(8,8) LABEL=(H= 'predicted value') VALUE=(H=) MINOR=none ; axis4 OFFSET=(1,1) LABEL=(a=90 R=0 H= 'residual') VALUE=(H=) MINOR=none ; symbol1 V=circle I=none H= W=; PROC GPLOT DATA=ny; PLOT resid*predikt / frame haxis=axis3 vaxis=axis4; E013 Basal Statistik - Variansanalyse 4

7 Varianshomoenitet Levenes test for varianshomoenitet: Level of redcell rp N Mean Std Dev Levene s Test for Homoeneity of redcell Variance ANOVA of Squared Deviations from Group Means Sum of Mean Source DF Squares Square F Value Pr > F rp Error Varianshomoenitet Grafisk check med residualplot: Residualer tenes op mod predikterede (forventede, fittede) værdier Ved sammenlinin af de k = 3 variansestimater fås teststørrelse på 4.14 F(,19)-fordelt, svarende til P=0.03, o altså sinifikans! E013 Basal Statistik - Variansanalyse 5 E013 Basal Statistik - Variansanalyse 6 Multiple sammenlininer Problem: F-test viser, at der nok er forskel men hvor? Parvise t-test ikke odt pa. massesinifikans Der er m = k(k 1)/ mulie test, reelt sinifikansniveau: 1 (1 α) m f.eks. for k=5: 0.40 Multiple sammenlininer Der findes ikke noen helt tilfredsstillende løsnin, men 1. Prøv at undå problemet (fokuser problemstillinen). Udvæl et (lille) antal relevante sammenlininer på forhånd, dvs. skriv dem ind i protokollen! 3. Ten ennemsnit ± SEM o bru øjemål(!), evt. suppleret med F-tests på delsæt af rupper 4. Modificer t-test ved at ane P med antallet af tests såkaldt Bonferroni korrektion (konservativ) eller anden form for korrektion (Dunnett, Tukey). E013 Basal Statistik - Variansanalyse 7 E013 Basal Statistik - Variansanalyse 8

8 Multiple sammenlininer Multiple sammenlininer symbol1 V=circle I=stdmjt H= W=; PROC GPLOT DATA=sasuser.redcell; PLOT redcell*rp / frame haxis=axis1 vaxis=axis; Her med Bars på s.e., dvs. konfidensintervaller for middelværdierne Bonferroni α sinifikansniveau m stærkt konservativ, dvs. for høje P-værdier lav styrke Sidak benytter sinifikansniveau α 1 1 ( 1 α ) m for små m m lidt mindre konservativ stadi ret lav styrke Tukey-Kramer baseres på fordelin af størst blandt mane iver større styrke Dunnett korrierer kun for test mod referenceruppe (typisk en kontrolruppe eller tid 0 ) E013 Basal Statistik - Variansanalyse 9 E013 Basal Statistik - Variansanalyse 30 Multiple sammenlininer i SAS PROC GLM DATA=sasuser.redcell; CLASS rp; MODEL redcell=rp / solution clparm; LSMEANS rp / pdiff adjust=bonferroni cl; LSMEANS rp / pdiff adjust=tukey cl; Adjustment for Multiple Comparisons: Bonferroni Least Squares Means for effect rp Pr > t for H0: LSMean(i)=LSMean(j) Dependent Variable: redcell i/j Adjustment for Multiple Comparisons: Tukey-Kramer Least Squares Means for effect rp Pr > t for H0: LSMean(i)=LSMean(j) Dependent Variable: redcell i/j E013 Basal Statistik - Variansanalyse 31 Multiple sammenlininer i SAS Adjustment for Multiple Comparisons: Bonferroni Difference Simultaneous 95% Between Confidence Limits for i j Means LSMean(i)-LSMean(j) PROC GLM DATA=sasuser.redcell; CLASS rp; MODEL redcell=rp / solution clparm; LSMEANS rp / pdiff cl; Adjustment for Multiple Comparisons: Tukey-Kramer Difference Simultaneous 95% Between Confidence Limits for i j Means LSMean(i)-LSMean(j) Giver p værdier o konfidens rænser Uden justerin for multipel testnin E013 Basal Statistik - Variansanalyse 3

9 Hvis antaelserne ikke holder Transformation (ofte loaritmer) kan afhjælpe såvel variansinhomoenitet som dårli normalfordelinstilpasnin Man kan lave vætet analyse (Welch s test), liesom ved T- test PROC GLM DATA=sasuser.redcell; CLASS rp; MODEL redcell=rp / solution clparm; MEANS rp / HOVTEST=levene WELCH ; Welch s variance-weihted test Welch s ANOVA for redcell Source DF F Value Pr > F rp Error Vi er altså ikke alt for sikre på den fundne forskel... E013 Basal Statistik - Variansanalyse 33 PROC NPAR1WAY DATA=sasuser.redcell wilcoxon; CLASS rp; VAR redcell; Bemærk: Man kan oså få en eksakt vurderin af teststørrelsen, men pas på i tilfælde af store materialer! Kruskal-Wallis Test The NPAR1WAY Procedure Analysis of Variance for Variable redcell Classified by Variable rp Wilcoxon Scores (Rank Sums) for Variable redcell Classified by Variable rp Sum of Expected Std Dev Mean rp N Scores Under H0 Under H0 Score Kruskal-Wallis Test Chi-Square EXACT wilcoxon; DF Tilføjes før Asymptotic Pr > Chi-Square Exact Pr >= Chi-Square E013 Basal Statistik - Variansanalyse 34 Loaritmerede data Loaritmerede data Loaritme transformere udfaldet (her 10 tals loaritmen) loredcell=lo10(redcell); E013 Basal Statistik - Variansanalyse 35 E013 Basal Statistik - Variansanalyse 36

10 Fortolknin: Loaritmerede data Eksempelvis forskel mellem ruppe 1 o ruppe 3: Estimatet: med CI: ( ; ) Tilbae transformeres til Estimat: = Med CI: 10 ;10 = 0.933;1.363 ( ) ( ) Dvs ruppe 1 lier 1.8% højere end ruppe 3 med CI fra 6.7% under til 36.3% over ANOVA o t-test Tosidet variansanalyse forekommer do oftest i anden sammenhæn (flere inddelinskriterier) E013 Basal Statistik - Variansanalyse 37 E013 Basal Statistik - Variansanalyse 38 To-sidet Variansanalyse Spahetti Plot Puls vs. tid, observationer hørende til samme person forbundet. Ideelt er forløbene parallelle (additivitet) Ved sammenlinin af tidspunkter skal man eliminere variation mellem personer anske som i et parret t-test E013 Basal Statistik - Variansanalyse 39 E013 Basal Statistik - Variansanalyse 40

11 Spahetti Plot To-sidet Variansanalyse DATA sasuser.puls; INFILE 'c:\puls.txt' firstobs=; INPUT person tid0 tid30 tid60 tid10; tid=0; puls=tid0; output; tid=30; puls=tid30; output; tid=60; puls=tid60; output; tid=10; puls=tid10; output; axis5 LABEL=(H=) VALUE=(H=) MINOR=none ; axis6 LABEL=(A=90 R=0 H=) VALUE=(H=) MINOR=none ; symbol1 V=circle I=join C=black H=3 W= L= R=9; /*entaer symbolet 9 ane*/ PROC GPLOT DATA=sasuser.puls; PLOT puls*tid=person / noleend frame haxis=axis5 vaxis=axis6; Der er effekt af person (p) o tid (t): Y pt = µ + α + β + ε o disse virker additivt. p (Nødvendit med passende bånd på parametrene, i SAS f.eks. α = β ε pt uafhænie, middelværdi 0, samme varians, normalfordelte, ε pt ( 0, ) ~ N σ Variationsopspaltnin: SS tot = SS person + SS tid + SS res t pt 9 4 = 0) E013 Basal Statistik - Variansanalyse 41 E013 Basal Statistik - Variansanalyse 4 To-sidet Variansanalyse Ideelt set parallelle forløb, overlejret med normalfordelt variation iver mere irreulære forløb. Variansanalyseskema df SS MS F P Personer < Tid Resid total Højsinifikant forskel på personer (forventelit, men ikke så interessant) Sinifikant tidsforskel, P=0.018 men vi manler estimater! E013 Basal Statistik - Variansanalyse 43 E013 Basal Statistik - Variansanalyse 44

12 PROC GLM DATA=sasuser.puls; CLASS tid person; MODEL puls=tid person / solution clparm; OUTPUT OUT=ny P=predikt R=resid; QUIT; Estimater Sum of Source DF Squares Mean Square F Value Pr > F Model <.0001 Error Corrected Total R-Square Coeff Var Root MSE puls Mean Source DF Type I SS Mean Square F Value Pr > F tid person <.0001 Standard Parameter Estimate Error t Value Pr > t Intercept B <.0001 tid 0 4. B tid B tid B tid B... person B person B person B <.0001 person B <.0001 person B <.0001 person B person B <.0001 person B <.0001 person B... Bemærk, at de sidste niveauer af hver faktor (Class-variabel) bliver sat til 0 Forventede værdier for person = 3, tid = 30: Residualer Altså f.eks. De kaldes referenceniveauer E013 Basal Statistik - Variansanalyse 45 E013 Basal Statistik - Variansanalyse 46 Varianshomenitet? Modelkontrol Normalfordelte residualer? Additivitet? (vekselvirknin, interaktion, effekt modifikation) Kan kun undersøes hvis der er flere observationer per celle Seriel korrelation? Varianshomenitet Modelkontrol E013 Basal Statistik - Variansanalyse 47 E013 Basal Statistik - Variansanalyse 48

13 Modelkontrol Normalfordelte residualer Seriel korrelation Modelkontrol Der ser ikke ud til at være Seriel korrelation her Modeller, der inkludere sådanne korrelationer kaldes Repeated measurements E013 Basal Statistik - Variansanalyse 49 E013 Basal Statistik - Variansanalyse 50 Modelkontrol Vekselvirknin Data til seriel korrelation plottet: DATA ny; SET ny; f_resid=la(resid); IF tid=0 THEN f_resid=.; Seriel korrelation plottet: axis7 OFFSET=(8,8) LABEL=(H= 'forrie residual') VALUE=(H=) MINOR=none ; symbol1 V=circle I=none C=black H= W= L= ; PROC GPLOT DATA=ny; PLOT resid*f_resid / vref=0 href=0 lvref=33 lhref=33 haxis=axis7 vaxis=axis4; Eller interaktion eller effekt modifikation Hvordan virker faktorerne ind på hinanden? Forskellen i respons mellem niveauerne af en faktor er ikke den samme ved alle niveauer af de andre faktorer Der kan være en syneristisk effekt (eller det modsatte) E013 Basal Statistik - Variansanalyse 51 E013 Basal Statistik - Variansanalyse 5

14 Faktor B Ao 0 30 Fakt. A A Respons Med vekselvirknin Faktor B A o A 1 Respons Inen vekselvirknin 60 A 1 40 A 0 o 0 Faktor B Faktor B A o 0 40 Fakt. A A Vekselvirknin Eksempel på inddelinskriterier: køn ryestatus Respons: FEV1 Mulie forklariner: bioloisk forskel på effekt af rynin måske ryer kvinderne ikke helt så meet måske virker ryninen som en relativ (%-vis) nedsættelse af FEV1 E013 Basal Statistik - Variansanalyse 53 E013 Basal Statistik - Variansanalyse 54 Eksempel Vekselvirknin Interaktion/vekselvirknin mellem mænden o variheden af Ryninen Der er effekt af mænden, men kun hvis man har røet læne Der er effekt af variheden, o denne effekt øes med mænden E013 Basal Statistik - Variansanalyse 55 E013 Basal Statistik - Variansanalyse 56

15 Fibrinoen efter miltoperation 34 rotter randomiseres, på måder 17 får fjernet milten (splenectomy=yes) 8/17 i hver ruppe opholder si i stor højde (place=altitude) Outcome: Fibrinoen niveau i m% ved da 1 Vekselvirknin Almindeli model: Yspr Vekselvirknin Yspr = µ + α + β + ε splenectomy (s=yes/no) o place (p=altitude/control) virker additivt. Model med interaktion (vekselvirknin): s s p p sp spr = µ + α + β + γ + ε Her specificeres en interaktion mellem splenectomy o place, dvs. effekten af ophold i stor højde tænkes at afhæne af, hvorvidt man har fået fjernet milten eller ej. o omvendt... spr E013 Basal Statistik - Variansanalyse 57 E013 Basal Statistik - Variansanalyse 58 Vekselvirknin i SAS PROC GLM DATA=sasuser.fibronoen; CLASS splenectomy place; MODEL fibrinoen = splenectomy place splenectomy*place / solution; Class Level Information Class Levels Values splenectomy no yes place altitude control Number of observations 34 Dependent Variable: fibrinoen The GLM Procedure Sum of Source DF Squares Mean Square F Value Pr > F Vekselvirknin i SAS Model Error Corrected ^ Total ^ R-Square Coeff Var Root MSE fibrinoen Mean E013 Basal Statistik - Variansanalyse 59 E013 Basal Statistik - Variansanalyse 60

16 Vekselvirknin i SAS Vekselvirknin i SAS Referenceniveauerne er place=control, splenectomy=yes (de sidste i den alfabetiske rækkeføle) så disse har forventet fibrinoenniveau på intercept=61.67 For de andre niveauer skal der adderes et eller flere ekstra estimater, således: Splenectomy yes no control place Altitude = = = Vi kan odt få SAS til at udrene disse niveauer explicit: PROC GLM DATA=sasuser.fibronoen; CLASS splenectomy place; MODEL fibrinoen = splenectomy*place / solution noint; Bemærk at splenectomy place er slettet i model linien E013 Basal Statistik - Variansanalyse 61 E013 Basal Statistik - Variansanalyse 6 To-sidet variansanalyse To-sidet variansanalyse Vekselvirkninen var ikke sinifikant (p=0.77) Så modellen simplificeres til en tosidet variansanalyse uden vekselvirknin E013 Basal Statistik - Variansanalyse 63 E013 Basal Statistik - Variansanalyse 64

17 Modelkontrol Modelkontrol E013 Basal Statistik - Variansanalyse 65 E013 Basal Statistik - Variansanalyse 66