Statistik ved Bachelor-uddannelsen i folkesundhedsvidenskab Uafhængighedstestet
Eksempel: Bissau data Data kommer fra Guinea-Bissau i Vestafrika: 5273 børn blev undersøgt da de var yngre end 7 mdr og blev herefter fulgt i 6 mdr. En række variable blandt andet om vaccinationsstatus blev målt ved baseline. Formålet var at undersøge om vaccination har betydning for overlevelsen. 1
BCG data Død BCG ja nej total ja 124 3176 3300 nej 97 1876 1973 total 221 5052 5273 Relativ hyppighed af død med BCG 124/3300=3.76% Relativ hyppighed af død uden 97/1973=4.92% BCG ser udtil at forbedre overlevelsen - men kunne denne forskel være opstået tilfældigt? 2
Statistisk analyse Udfra en lille stikprøve vil vi drage konklusioner om den bagved liggende population. Forbedres overlevelsen i Bissau af vaccination? Fordi vi kun har en stikprøve vil vores konklusioner være usikre. Hvis vi havde gentaget forsøget ville vi måske have fået et andet resultat. Vaccination synes at forbedre overlevelsen, men kunne denne forskel være opstået tilfældigt? 3
En statistisk model for Bissau data Sansynlighed for at død med BCG er p 1 Antallet af døde med BCG følger B(3300, p 1 ) Sansynlighed for at død uden BCG er p 2 Antallet af døde uden BCG følger B(1973, p 2 ) 4
Estimation i Bissau data Udfra data hvad er da vores bedste bud på dødssandsynlighederne? død BCG ja nej total ja 124 3176 3300 nej 97 1876 1973 total 221 5052 5273 p 1 =124/3300=3.76% p 2 = 97/1973=4.92% 5
Hypotesen Arbejdshypotesen: vaccine forbedrer overlevelsen Signifikanstestet kan (kun) falcificere hypoteser. Den hypotese vi tester er den modsatte. Statistisk nul-hypotese: vaccine påvirker ikke overlevelsen Udtrykkes via modellens parametre H 0 : p 1 = p 2 (videnskabeligt spørgsmål statistisk hypotese) Alternativ H A : p 1 p 2 6
Teststørrelsen Afvigelser mellem data og hypotese måles ved teststørrelsen alle celler (observeret forventet) 2 forventet hvor forventet angiver det forventede celleantal hvis hypotesen havde været sand. Hvad mener du med forventede celleantal? 7
Estimation under H 0 Hvis nu dødssandsynlighederne var ens hvad er så vores bedste bud på denne sandsynlighed? Generel Outcome Exposure yes no total yes a b n 1 no c d n 2 total a + c b + d n Vores data død BCG ja nej total ja 124 3176 3300 nej 97 1876 1973 total 221 5052 5273 Svar: andelen af døde i data. p = a + c n = 221 5273 = 0.042 8
Forventede celletal og teststørrelse Forventet antal døde med BCG: 3300 221 5273 = 138.3 Forventet antal døde uden BCG: 1973 221 5273 = 82.7 Observeret Forventet under H 0 død BCG ja nej total ja 124 3176 3300 nej 97 1876 1973 total 221 5052 5273 død BCG ja nej total ja 138.3 3161.7 3300 nej 82.7 1890.3 1973 total 221 5052 5273 Teststørrelsen bliver: χ 2 = (124 138.3)2 138.3 (3176 3161.7)2 (97 82.7)2 (1876 1890.3)2 + + + 3161.7 82.7 1890.3 = 4.13 Store værdier er kritiske 9
p-værdien Vi har set χ 2 = 4.13 er det er stor afvigelse? Det afgøres ved at beregne p-værdien Hvis hypotesen var sand, hvad ville sandsynligheden så være for at få en χ 2 -værdi på 4.13 eller derover. Her skal vi bruge statistisk teori som siger, at under H 0 vil teststørrelsen følge en χ 2 -fordeling med en frihedsgrad (df = 1) 10
Illustration af p p-værdien er sandsynligheden for en værdi over 4.13. p-værdi = P (χ 2 1 4.13) = 0.0422 11
Konklusion Signifikansniveau sættes til 0.05. p-værdi= 0.042 < 0.05, så vi forkaster hypotesen hvis hypotesen er sand er det usædvanligt at få en så stor afvigelse mellem data og hypotese som vi har fået - vi vælger derfor at tro at hypotesen ikke er sand 12
Kritiske værdier for χ 2 -test Den kritiske værdi afhænger af frihedsgrader og signifikansniveau. Med 1 frihedsgrad: chance for en værdi over 3.84 er 5%. Testets kritiske værdi er 3.84. 13
Hvordan præsenteres resultatet? Det er ikke nok at angive en p-værdi Effekten af vaccination skal også kvantificeres OR=0.755 95%-CI(0.575; 0.991), p = 0.042 Bemærk, 95%-sikkerhedsintervalet ikke overdækker 1, hvilket er i ovensstemmelse med at effekten er signifikant. 14
Fejl af type I og II Type I: forkaster sand hypotese. Type II: forkaster ikke falsk hypotese Vi kender ikke sandheden og ved derfor ikke hvornår vi begår en fejl. Vi tester udfra data, men disse er behæftet med usikkerhed som kan drille os (selvom der er 60% blå bolde i posen, kan stikprøven godt indeholde 50% og hypotesen forkastes ikke). 15
Risiko for fejl af type I Givet ved signifikansniveauet (typisk 5%). Vi forkaster hvis χ 2 3.84. Hvis hypotesen er sand sker dette med en sandsynlighed på 5% 16
Kan man undgå fejl? Nej. I øvelse 4 så vi at risiko for fejl af type I og II hænger sammen. 50 bolde udtages, 50% blå bolde i posen (hypotesen er sand) Sandsynlighed for at forkaste H 0 : 1. grænse 33 blå bolde - ssh for Type I fejl 1% 2. grænse 31 blå bolde - ssh for Type I fejl 5% Jeg vil gerne have en lav risiko for en Type I fejl, så umiddelbart virker en grænse på 33 blå bolde bedre. 17
Sammenhæng mellem risiko for type I og type II fejl 50 bolde udtages, 60% blå bolde i posen (hypotesen er forkert) Sandsynlighed for at forkaste H 0 : 1. grænse 33 blå bolde: 19%, ssh Type II fejl= 81% (Type I fejl 1%) 2. grænse 31 blå bolde: 38%, ssh Type II fejl= 62% (Type I fejl 5%) Når risiko for Type I fejl stiger, så falder risiko for Type II fejl 18
OK - vi vælger et signifikansniveau på 5% Hvad er risikoen for type II fejlen så? Den afhænger af to ting 1. sample size 2. hvor forkert hypotesen er Istedet for at tale om risiko for type II fejl tales om styrken styrke = P (forkast H 0 H 0 falsk) = 1 P (ikke forkast H 0 falsk) = 1 P (type II fejl) 19
Styrke i boldøvelse Sandsynligheden for at forkaste hypotesen udfra en stikpøve på hhv 50 og 25 bolde. Jo mere forkert hypotesen er, jo lettere er det at opdage det. Jo større stikprøve, jo større chance for at forkaste en forkert hypotese 20
R C-tabeller Fordeling af rygevaner som 45- årig og senere selvrapporteret helbred som 51-årig blandt tilfældigt udvalgte mænd i Københavns Amt i 1987. rygevaner som 45 årig Total aldrig nej 1-14 15-24 25+ usædvanlig godt godt helbred som 51 årig mindre godt elendigt Total 16 73 6 1 96 16,7% 76% 6,3% 1,0% 100% 15 75 6 96 15,6% 78% 6,3% 100% 13 59 7 1 80 16,3% 74% 8,8% 1,3% 100% 10 81 17 3 111 9,0% 73% 15,3% 2,7% 100% 1 29 3 1 34 2,9% 85% 8,8% 2,9% 100% 55 317 39 6 417 13,2% 76% 9,4% 1,4% 100% 2 21
χ 2 -testet i R C-tabeller χ 2 -testet kan direkte generaliseres til R C-tabeller Observeret tabel sammenlignes med forventet tabel. alle celler (observeret forventet) 2 forventet χ 2 df med df = (antal rækker 1)(antal søjler 1) 22
χ 2 -fordelinger Bemærk at når df vokser skubbes fordelingerne mod højre. 23
Rygning og helbred Fordeling af rygevaner som 45- årig og senere selvrapporteret helbred som 51-årig blandt tilfældigt udvalgte mænd i Københavns Amt i 1987. rygevaner som 45 årig Total aldrig nej 1-14 15-24 25+ usædvanlig godt godt helbred som 51 årig mindre godt elendigt Total 16 73 6 1 96 16,7% 76% 6,3% 1,0% 100% 15 75 6 96 15,6% 78% 6,3% 100% 13 59 7 1 80 16,3% 74% 8,8% 1,3% 100% 10 81 17 3 111 9,0% 73% 15,3% 2,7% 100% 1 29 3 1 34 2,9% 85% 8,8% 2,9% 100% 55 317 39 6 417 13,2% 76% 9,4% 1,4% 100% 2 24
Rygning og helbred - hypotesen? Hypotese: Uafhængighed mellem rygning og helbred P (helbred rygevaner) = P (helbred) Fordeling af helbred i i te rygegruppe (i = 1,..., 4) p i = (p i1, p i2, p i3, p i4 ) H 0 : p 1 = p 2 = p 3 = p 4 = p 5 Forventede celletal beregnes udfra fordelingen i sidste række (se Tabel 10-2 i bogen). χ 2 = 16.2, df = (5 1)(4 1) = 12, p = 0.18 Sammenhængen ikke statistisk signifikant 25
Fortolkning af in-signifikant p-værdi En in-signifikant p-værdi må ikke fortolkes som bevis for ingen sammenhæng Der er to grunde til at et statistisk test bliver insignifikant 1. der er virkelig ingen sammenhæng 2. der er ikke nok information i data (type II fejl) 26
To forskellige resultater OR med sikkerhedsinterval i to studier 27
Uafhænighed kan også testes med γ Her er teststørrelsen givet ved z = γ se( γ) Under hypotesen om ingen sammenhæng følger z en standardiseret normalfordeling N(0, 1). density 0.0 0.1 0.2 0.3 0.4 3 2 1 0 1 2 3 z Små og store værdier er kritiske 28
Rygning og helbred Fordeling af rygevaner som 45- årig og senere selvrapporteret helbred som 51-årig blandt tilfældigt udvalgte mænd i Københavns Amt i 1987. rygevaner som 45 årig Total aldrig nej 1-14 15-24 25+ usædvanlig godt godt helbred som 51 årig mindre godt elendigt Total 16 73 6 1 96 16,7% 76% 6,3% 1,0% 100% 15 75 6 96 15,6% 78% 6,3% 100% 13 59 7 1 80 16,3% 74% 8,8% 1,3% 100% 10 81 17 3 111 9,0% 73% 15,3% 2,7% 100% 1 29 3 1 34 2,9% 85% 8,8% 2,9% 100% 55 317 39 6 417 13,2% 76% 9,4% 1,4% 100% 2 χ 2 = 16.2, df = 12, p = 0.18, γ = 0.242, p = 0.001 29
Hvilket test er bedst? Hvis der er sammenhæng mellem to variable, hvilket test vil så med størst sandsynlighed forkaste hypotesen. Med andre ord: hvilket test har størst styrke? Det afhænger af på hvilken måde hypotesen er forkert. Illustration: simulationer. 30
Simulation I Design: 4 grupper med hver sin sandsynlighed outcome 0 1 1 0.25 0.75 2 0.30 0.70 3 0.35 0.65 4 0.40 0.60 100 personer i hver gruppe. Forsøget udføres 1000 gange. I hvert datasæt beregnes γ og χ 2 -testet. Andel forkast (styrke): χ 2 : 476 1000 = 0.48, γ: 680 1000 = 0.68 γ vinder 31
Simulation II Design: 4 grupper med hver sin sandsynlighed outcome 0 1 1 0.25 0.75 2 0.40 0.60 3 0.35 0.65 4 0.30 0.70 100 personer i hver gruppe. Forsøget udføres 1000 gange. I hvert datasæt beregnes γ og χ 2 -testet. Andel forkast (styrke): γ: 82 1000 = 0.082, χ2 : 485 1000 = 0.49 χ2 vinder 32
Konlusion: χ 2 vs γ γ: har større styke til at finde monotone sammenhænge. Men kan være elendig til at finde sammenhænge der ikke er monotone χ 2 : kan finde alle mulige afvigelser fra H 0. 2 2-tabeller: her bruges χ 2 -testet og odds-ratioer. 33
p rules p-værdien er vigtig Spiller stor rolle indenfor mange forskningsfelter Vanskeligt at publicere uden en signifikant p-værdi For stor fokus på forskellen mellem 0.049 og 0.051 Angiv p. Der er forskel på p = 0.049 og p < 0.0001 34
Er p-værdien unaturlig? Friday night in a strange bar you are contacted by a person who wants to play heads-and-tails with you. You lose if it is heads. You take a look at the coin and flip it 10 times. The result is: heads, heads, heads, heads, tails, heads, heads, heads, heads, heads You decline to play. If the coin was fair the data would be quite unlikely. p-value = P (0 tails)+p (1 tails) = (0.5) 10 +10 0.5 9 0.5 = 11 1024 1% You reject the hypothesis of a fair coin. 35