Oversigt. Kursus 02402/02323 Introducerende Statistik. Forelæsning 12: Inferens for andele. Klaus K. Andersen og Per Bruun Brockhoff

Transkript

1 Kursus 02402/02323 Itroducerede Statistik Forelæsig 12: Iferes for adele Klaus K. Aderse og Per Bruu Brockhoff DTU Compute, Statistik og Dataaalyse Damarks Tekiske Uiversitet 2800 Lygby Damark Oversigt 1 Itro 2 Kofidesiterval for é adel Eksempel Kofidesiterval og hypotesetest for to adele Eksempel Aalyse af atalstabeller 7 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Itro Forskellige aalyse/data-situatioer Estimatio af adele Itro Geemsit for kvatitative data: Hypotesetest/KI for é middelværdi (oe-sample) Hypotesetest/KI for to middelværdier (two samples) Hypotesetest/KI for flere middelværdier (K samples) I dag: Adele: Hypotesetest/KI for é adel Hypotesetest/KI for to adele Hypotesetest for flere multi-categorical adele Estimatio af adele fås ved at observere atal gage x e hædelse har idtruffet ud af forsøg: ˆp = x ˆp [0; 1] Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51

2 Kofidesiterval for é adel Kofidesiterval for é adel Kofidesiterval for é adel Kofidesiterval for é adel Method 7.3 Såfremt der haves e stor stikprøve, fås et (1 α)% kofidesiterval for p x x z (1 x ) 1 α/2 < p < x x + z (1 x ) 1 α/2 Hvorda? Følger af at approximere biomialfordelige med ormalfordelige. As a rule of thumb the ormal distributio gives a good approximatio of the biomial distriutio if p ad (1 p) are both greater tha 15 Middelværdi og varias i biomialfordelige, enote2: This meas that E(X) = p V ar(x) = p(1 p) E(ˆp) = E( X ) = p = p V ar(ˆp) = V ar( X ) = 1 p(1 p) V ar(x) = 2 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Eksempel 1 Kofidesiterval for é adel Eksempel 1 Eksempel 1 Kofidesiterval for é adel Eksempel 1 Vestrehådede: p = Adele af vestrehådede i Damark og/eller: Kvidelige igeiørstuderede: p = Adele af kvidelige igeiørstuderede Vestrehådede: ˆp(1 ˆp) 10/100(1 10/100) = = ± ± [0.041, 0.159] Bedre small sample metode - "plus 2-approach":(emark 7.7) Aved samme formel på x = = 12 og ñ = 104: p(1 p) 12/104(1 12/104) = = ñ ± ± [0.054, 0.177] Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51

3 Kofidesiterval for é adel Kofidesiterval for é adel Margi of Error på estimat Margi of Error med (1 α)% kofides bliver hvor et estimat af p fås ved p = x ME = z 1 α/2 p(1 p) Method 7.12 Såfremt ma højst vil tillade e Margi of Error ME med (1 α)% kofides, bestemmes de ødvedige stikprøvestørrelse ved = p(1 p)[ z 1 α/2 ME ]2 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Kofidesiterval for é adel Kofidesiterval for é adel Method 7.12 Såfremt ma højst vil tillade e Margi of Error ME med (1 α)% kofides, og p ikke kedes, bestemmes de ødvedige stikprøvestørrelse ved = 1 4 [z 1 α/2 ME ]2 idet ma får de mest koservative stikprøvestørrelse ved at vælge p = 1 2 Vestrehådede: Atag vi øsker ME = 0.01 (med α = 0.05) - hvad skal være? Atag p 0.10: = ( ) = UDEN atagelse om størrelse af p: = 1 ( ) = Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51

4 Tri ved Hypoteseprøvig 1. Opstil hypoteser og vælg sigifikasiveau α 2. Bereg teststørrelse 3. Bereg p-værdi (eller kritisk værdi) 4. Fortolk p-værdi og/eller Sammelig p-værdi og sigifikasiveau og drag e koklusio (Alterativ 4. Sammelig teststørrelse og kritisk værdi og drag e koklusio) Vi betragter e ul- og alterativ hypotese for é adel p: H 0 : p = p 0 H 1 : p p 0 Ma vælger som sædvaligt ete at acceptere H 0 eller at forkaste H 0 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Beregig af teststørrelse Test ved brug af p-værdi (Method 7.10) Theorem 7.9 og Method 7.10 Såfremt stikprøve er tilstrækkelig bruges teststørrelse: (p 0 > 15 og (1 p 0 ) > 15) z obs = x p 0 p0 (1 p 0 ) Fid p-værdie (evidece mod ulhypotese): If two-sided: 2P (Z > z obs ) If oe-sided less : P (Z < z obs ) If oe-sided greater : P (Z > z obs ) Uder ulhypotese gælder at de tilsvarede tilfældige variabel Z følger e stadard ormalfordelig, dvs. Z N(0, 1 2 ) Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51

5 Test ved brug af kritisk værdi (Method 7.10) Er halvdele af alle daskere vestrehådede? Afhægig af de alterative hypotese fås følgede kritiske værdier Alterativ hypotese p < p 0 p > p 0 p p 0 Afvis ul-hypotese hvis z obs < z 1 α z obs > z 1 α z obs < z 1 α/2 eller z obs > z 1 α/2 Teststørrelse: p-værdi: z obs = H 0 : p = 0.5, H 1 : p 0.5 x p 0 p0 (1 p 0 ) = = (1 0.5) 2 P (Z > 8) = Der er meget stærk evidece imod ulhypotese - vi ka forkaste dee (med α = 0.05). Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Evt med kritisk værdi i stedet: Kofidesiterval og hypotesetest for to adele Kofidesiterval for to adele z = 1.96 Idet z obs = 8 er (meget) midre ed 1.96 ka vi forkaste hypotese. dorm(x) P(Z< 1.96)=0.025 P(Z>1.96)=0.025 Method 7.14 hvor ule of thumb: ˆσˆp1 ˆp 2 = (ˆp 1 ˆp 2 ) ± z 1 α/2 ˆσˆp1 ˆp 2 ˆp 1 (1 ˆp 1 ) 1 + ˆp 2(1 ˆp 2 ) 2 Både i p i 10 ad i (1 p i ) 10 for i = 1, x Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51

6 Kofidesiterval og hypotesetest for to adele Hypotesetest for to adele, Method 7.17 Two sample proportios hypothesis test Såfremt ma øsker at sammelige to adele (her vist for et tosidet alterativ) Fås teststørrelse: z obs = Og for passede store stikprøver: H 0 : p 1 = p 2 H 1 : p 1 p 2 ˆp 1 ˆp 2, hvor ˆp = x 1 + x 2 ˆp(1 ˆp)( ) Brug stadardormalfordelige ige. Kofidesiterval og hypotesetest for to adele Eksempel 2 Eksempel 2 Sammehæg mellem brug af p-piller og risikoe for hjerteifarkt I et studie (USA, 1975) udersøgte ma dette. Fra et hospital havde ma idsamlet følgede stikprøve Ifarkt Ikke ifarkt p-piller Ikke p-piller Er der sammehæg mellem brug af p-piller og sygdomsrisiko Udfør et test for om der er sammehæg mellem brug af p-piller og risiko for hjerteifarkt. Aved sigifikasiveau α = 5% Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Kofidesiterval og hypotesetest for to adele Eksempel 2 Eksempel 2 Sammehæg mellem brug af p-piller og risikoe for hjerteifarkt Estimater i hver stikprøve Ifarkt Ikke ifarkt Total p-piller = 57 Ikke p-piller = 167 x = 58 = 224 ˆp 1 = = , ˆp 2 = = Sammeligig af c adele I ogle tilfælde ka ma være iteresseret i at vurdere om to eller flere biomialfordliger har de samme parameter p, dvs. ma er iteresseret i at teste ul-hypotese H 0 : p 1 = p 2 =... = p c = p mod e alterativ hypotese at disse adele ikke er es Fælles estimat: ˆp = = = Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51

7 Tabel af observerede atal for k stikprøver: stikprøve 1 stikprøve 2... stikprøve c Total Succes x 1 x 2... x c x Fiasko 1 x 1 2 x 2... c x c x Total c Fælles (geemsitlig) estimat: Uder ul-hypotese fås et estimat for p: ˆp = x Fælles (geemsitlig) estimat: Uder ul-hypotese fås et estimat for p: ˆp = x Brug dette fælles estimat i hver gruppe: såfremt ul-hypotese gælder, vil vi forvete at de j te gruppe har e 1j successer og e 2j fiaskoer, hvor e 1j = j ˆp = j x e 2j = j (1 ˆp) = j ( x) Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Beregig af teststørrelse - Method 7.19 Geerel formel for beregig af forvetede værdier i atalstabeller: e ij = (i th row total) (j th colum total) (total) Teststørrelse bliver 2 c χ 2 obs = (o ij e ij ) 2 i=1 j=1 hvor o ij er observeret atal i celle (i, j) og e ij er forvetet atal i celle (i, j) e ij Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51

8 Fid p-værdi eller brug kritisk værdi - Method 7.19 Stikprøvefordelig for test-størrelse: χ 2 -fordelig med (c 1) frihedsgrader Kritisk værdi metode Såfremt χ 2 obs > χ2 α(c 1) forkastes ul-hypotese De OBSEVEEDE værdier o ij Observerede Ifarkt Ikke ifarkt p-piller Ikke p-piller ule of thumb for validity of the test: Alle forvetede værdier e ij 5. Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Bereg de FOVENTEDE værdier e ij Forvetede Ifarkt Ikke ifarkt Total p-piller 57 Ikke p-piller 167 Total Brug regle for forvetede værdier fire gage, f.eks. : e 22 = De FOVENTEDE værdier e ij = Forvetede Ifarkt Ikke ifarkt Total p-piller Ikke p-piller Total Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51

9 Aalyse af atalstabeller Aalyse af atalstabeller Teststørrelse: χ 2 obs = ( ) Kritisk værdi: [1] Koklusio: + ( ) = 8.33 ( ) ( ) Vi forkaster hulhypotese - der E e sigifikat forhøjet sygdomsrisiko i p-pille gruppe. E 3 3 tabel - 3 stikprøver, 3-kategori udfald 4 uger før 2 uger før 1 uge før Kadidat I Kadidat II ved ikke = = = 200 Er stemmefordelige es? H 0 : p i1 = p i2 = p i3, i = 1, 2, 3. Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Aalyse af atalstabeller Aalyse af atalstabeller Aalyse af atalstabeller Beregig af teststørrelse uaset type af tabel E 3 3 tabel - 1 stikprøve, to stk. 3-kategori variable: dårlig middel god dårlig middel god Er der uafhægighed mellem iddeligskriterier? H 0 : p ij = p i p j I e atalstable med r rækker og c søjler, fås teststørrelse r c χ 2 obs = (o ij e ij ) 2 i=1 j=1 hvor o ij er observeret atal i celle (i, j) og e ij er forvetet atal i celle (i, j) Geerel formel for beregig af forvetede værdier i atalstabeller: e ij = e ij (i th row total) (j th colum total) (total) Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51

10 Aalyse af atalstabeller Fid p-værdi eller brug kritisk værdi - Method 7.21 : prop.test - ee adel Stikprøvefordelig for test-størrelse: χ 2 -fordelig med (r 1)(c 1) frihedsgrader Kritisk værdi metode Såfremt χ 2 obs > χ2 α med (r 1)(c 1) frihedsgrader forkastes ul-hypotese # WITHOUT CONTINUITY COECTIONS prop.test(518, 1154, p = 0.5, correct = FALSE) ule of thumb for validity of the test: Alle forvetede værdier e ij 5. Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 : prop.test - to adele : chisq.test - to adele colames(pill.study) <- c("blood Clot", "No Clot") rowames(pill.study) <- c("pill", "No pill") # TESTING THAT THE POBABILITIES FO THE TWO GOUPS AE EQUAL prop.test(pill.study, correct = FALSE) #IF WE WANT THE EXPECTED NUMBES SAVE THE TEST IN AN OBJECT chi <- chisq.test(pill.study, correct = FALSE) #THE EXPECTED VALUES chi$expected Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51

11 : chisq.test - atalstabeller : chisq.test - atalstabeller colames(poll) <- c("4 weeks", "2 weeks", "1 week") rowames(poll) <- c("cad1", "Cad2", "Udecided") barplot(t(colpercet), beside = TUE, col = 2:4, las = 1, ylab = "Percet each week", xlab = "Cadidate", mai = "Distributio of Votes") leged( leged = colames(poll), fill = 2:4,"topright", cex = 0.5) par(mar=c(5,4,4,2)+0.1) #COLUMN PECENTAGES colpercet<-prop.table(poll, 2) colpercet Percet each week Distributio of Votes 4 weeks 2 weeks 1 week Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Cad1 Cad2 Udecided Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Cadidate : chisq.test - atalstabeller Oversigt 1 Itro chi #EXPECTED VALUES chi$expected 2 Kofidesiterval for é adel Eksempel Kofidesiterval og hypotesetest for to adele Eksempel Aalyse af atalstabeller 7 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51 Klaus KA og Per BB (klaus@cacer.dk) Itroduktio til Statistik, Forelæsig 12 Efteråret / 51