Signifikanstestet. usædvanlig godt godt

Transkript

1 Signifikanstestet Fordeling af rygevaner som 45-årig og senere selvrapporteret helbred som 51-årig blandt tilfældigt udvalgte mænd i Københavns Amt i helbred som 51 årig rygevaner som 45 årig Total aldrig nej usædvanlig godt godt mindre godt elendigt Total ,7% 76% 6,3% 1,0% 100% ,6% 78% 6,3% 100% ,3% 74% 8,8% 1,3% 100% ,0% 73% 15,3% 2,7% 100% ,9% 85% 8,8% 2,9% 100% ,2% 76% 9,4% 1,4% 100% Hvordan kan man ved hjælp af tallene i tabellen påvise eller i det mindste understøtte en hypotese om at rygning er en helbredsmæssig risikofaktor? At helbredet forringes, jo mere man ryger? 1

2 Arbejdsgangen i statistiske signifikanstest 1) Definition af nul-hypotese og alternativ 2) Valg og beregning af teststørrelse 3) Fastlæggelse af kritisk niveau og kritiske værdier for teststørrelsen 4) Beregning af signifikanssandsynligheden (p-værdien) 5) Valg mellem nul-hypotese eller alternativ 2

3 Nul-hypotese og alternativ Nul-hypotesen (H0) Ingen sammenhæng mellem rygning og helbred Alternativ Rygningen påvirker helbredet Hvilken en af de to påstande kan opfattes som arbejdshypotesen? 3

4 Valg af teststørrelse Teststørrelse = Et talmæssigt udtryk for tilpasningen mellem nul-hypotesen og data. Teststørrelsen konstrueres som regel således at store værdier er udtryk for stor afstand mellem nul-hypotese og data. 4

5 χ 2 -testet måler for afstanden mellem hypotese og data 1) Beregning af forventede værdier der svarer fuldstændigt til nul-hypotesen. 2) Residualer =Afstanden mellem observerede og forventede værdier beregnes for hver enkelt celle i tabellen. 3) Den samlede afstand = en vægtet sum af de kvadrerede residualer. nulhypotese Forventede værdier afstand Observeret tabel 5

6 Beregning af χ 2 -teststørrelsen Tabellen med forventede værdier 1) Tabellen skal indeholde det samme antal personer som den observerede tabel. 2) Fordelingen af disse personer mht. rygevaner og mht. helbred skal være den samme som i den observerede tabel. 3) I følge nul-hypotesen er fordelingen af helbredet den samme for alle rygekategorier. Tabellen med forventede værdier skal derfor have de samme procentvise helbredsfrekvenser, for de forskellige rygevaner og de samme som den marginale fordeling af helbredet. 6

7 Standardterminologi for tovejstabeller: n ij = antallet af personer i cellen i den i te række og den j te søjle af den observerede tabel. n i = n j = n j ij = det samlede antal personer i den i te række af den observerede tabel. n i ij = det samlede antal personer i den j te søjle af den observerede tabel. n = ij n ij = det samlede antal personer i den observerede tabel. 7

8 Forventede værdier: e ij = det forventede antallet af personer i cellen i den i te række og den j te søjle. e i = e j = e j ij = det samlede antal personer i den i te række af tabellen med forventede værdier. e i ij = det samlede antal personer i den j te søjle af tabellen med forventede værdier. e = ij e ij = det samlede antal personer i tabellen med forventede værdier. 8

9 Kravene til de forventede værdier: e i = n i, e j = n j, e = n. e e n = = e n n ij ij j i i hvilket vil sige, at e ij = n n j i n 9

10 Forventede værdier under nul-hypotesen om, at rygevaner og helbred er uafhængige. rygevaner som 45 årig Total aldrig nej usædvanlig godt godt helbred som 51 årig mindre godt elendigt Total 12,7 73,0 9,0 1,4 96,0 12,7 73,0 9,0 1,4 96,0 10,6 60,8 7,5 1,2 80,0 14,6 84,4 10,4 1,6 111,0 4,5 25,8 3,2,5 34,0 55,0 317,0 39,0 6,0 417,0 10

11 Residualerne Residualer = observeret forventet res ij = n ij - e ij Residualer for sammenhængen mellem rygevaner og helbred. rygevaner som 45 årig aldrig nej helbred som 51 årig usædvanlig godt godt mindre godt elendigt 3,3,0-3,0 -,4 2,3 2,0-3,0-1,4 2,4-1,8 -,5 -,2-4,6-3,4 6,6 1,4-3,5 3,2 -,2,5 11

12 Den samlede χ 2 -afstand En vægtet sum af de kvadrerede residualer. Hvert enkelt kvadreret residual tildeles en vægt, der er omvendt proportional med det forventede antal i den celle, som residualværdien er taget fra: (n e ) 2 2 ij ij χ = = eij 16,2 Det største bidrag til denne værdi: tobaksforbrug = cigaretter om dagen helbred = mindre godt. Forventet = Observeret = 17 χ 2 bidraget = 2 ( ) = Er en χ 2 værdi på 16,2 udtryk for god tilpasning til nul-hypotesen? 12

13 Kritiske værdier χ 2 -testet er defineret således at værdien 0 er et udtryk for perfekt tilpasning mellem nulhypotese og data Værdiområdet for χ 2 deles op i to dele: a) Små værdier ikke kritiske for nulhypotesen. Hvis test-størrelsen ligger i dette område accepteres hypotesen. b) Store værdier kritiske for nulhypotesen. Hvis test-størrelsen ligger i dette område forkastes hypotesen. Grænseværdien mellem det ikke-kritiske og det kritiske område omtales som den kritiske værdi. 13

14 Teststørrelsen, T, er en funktion af data og er derfor præget af en vis grad af tilfældighed med sandsynligheder, der kan beregnes. Den kritiske værdi fastlægges, således at der kun er en lille sandsynlighed for at forkaste nul-hypotesen hvis nul-hypotesen er sand α = P(T t kritisk ) = testets niveau α, skal være et lille tal således at der kun er en lille risiko for at forkaste en nulhypotese, hvis den er sand. Tommelfingerreglen Det er almen praksis at sætte α =

15 χ 2 -teststørrelsens fordeling Hvad er P(χ )? Hvis nul-hypotesen om uafhængighed for en tabel med r rækker og s søjler er korrekt, vil χ 2 -testet være tilnærmelsesvist fordelt som en χ 2 -fordeling med et antal frihedsgrader, der er lig med (r-1)(s-1). Tilpasningen mellem den eksakte og den approksimative fordeling for χ 2 - teststørrelsen er alt andet lige bedre, jo flere observationer, der er i tabellen. 15

16 Kritiske værdier Kritiske værdier for χ 2 -testet Kritisk niveau antal frihedsgrader 5 % 1 % SPSS kan overtales til at beregne signifikanssandsynligheder for χ 2 -testet ved hjælp af syntaks-filen, PCHI.SPS. 16

17 Rygevaner og helbred Antallet af frihedsgrader er lig med (5-1)(4-1) = 12, P(χ 2 (12) 16.2) er lig med χ 2 -testet er ikke signifikant. Nul-hypotesen om uafhængighed bliver derfor accepteret. Ifølge χ²-testet er der altså ikke statistisk belæg for at påstå at rygevanerne påvirker helbredet. Sammenhængen var ellers tydelig at se i tabellen. Kan vi have begået en fejl? 17

18 Type I fejl Hvis man forkaster en sand nul-hypotese begår man en type I fejl Konventionelle signifikanstest har derfor en risiko på 5% for type I fejl. Men husk at valget af niveauet for statistiske test er arbitrært. Hvis man derfor vælger at foretage et test på 5% niveau betyder det at man synes man kan leve med en type I risiko på 5 % 18

19 Type II fejl Signifikansniveauet for testet blev valgt således at der kun var 5 % risiko for at forkaste hypotesen, selvom den var sand (type I risikoen). Risikoen for at acceptere en nul-hypotese, der i virkeligheden er falsk omtales som en type II risiko. Risikoen for en type II risiko kan ikke beregnes, men man kan ofte skelne mellem test med stor type II risiko og teststørrelser med mindre type II risiko. Er χ 2 -testets type II risiko optimal eller kan vi gøre noget bedre? (spørgsmålet besvares senere). 19

20 Signifikanssandsynligheder Signifikansen vurderes lettest, hvis man beregner sandsynligheden (p-værdien) for at få et testresultat der mindst er lige så kritisk for nul-hypotesen som den observerede testværdi, p = P(T t obs ) En χ²-værdi på 16,2 med 12 frihedsgrader svarer til en p-værdi på 18,2 %. Denne værdi er klart større end 5 %, og vi kan derfor endnu engang konstatere, at χ²-testet ikke er signifikant. χ²-testet accepterer nul-hypotesen om, at der ikke er sammenhæng mellem rygning og helbred. 20

21 Test-logiske problemer Hvad er relationen mellem den faglige hypotese og den statistiske nul-hypotese? Hvad er logikken i det statistiske tests bevisførelse? Hvad bliver bevist og hvad bliver ikke bevist? Teststørrelsen. Ud fra hvilke principper skal man vælge blandt de mange forskellige teststørrelser, som den teoretiske statistik udbyder? Om brugen af flere forskellige statistiske tests til at afprøve den samme nul-hypotese. Kan man tillade sig at bruge mere end et statistisk test? Hvordan skal signifikanssandsynligheden vurderes og tolkes, og - især - hvad må man ikke lægge i p-værdierne? 21

22 Signifikanstestets logik Problem 1: Der er et misforhold mellem den fagligt begrundede arbejdshypotese og statistikernes nul-hypotese: Arbejdshypotesen Rygning forringer på langt sigt helbredet. Årsagen til problemet: Tabellen støtter arbejdshypotesen, men der er tale om få personer, og en høj grad af indbygget usikkerhed. Tabellen er derfor ikke i sig selv et bevis for den statistiske sammenhæng mellem rygning og helbred, selvom tendensen bekræfter arbejdshypotesen. 22

23 Løsningen på problemet: Signifikanstestets argumentation svarer til det, der omtales som et indirekte bevis i matematikken. I stedet for at bevise, at der er sammenhæng mellem rygevaner og helbred, forsøger testet at vise, at det modsatte at der ikke er sammenhæng har nogle usandsynlige konsekvenser. 23

24 Det indirekte matematiske bevis Et indirekte bevis, er et bevis, hvor man forsøger at vise en matematisk sætning, A, ved at vise, at det fører til umulige konsekvenser at antage at sætningen ikke er korrekt. Det indirekte bevis omfatter tre trin: 1) Antag først, at den såkaldte antitese, at A ikke gælder, er korrekt. Antitesen til A angives som regel som A i betydningen ikke A. 2) Udled en eller flere logiske konsekvenser af A. 3) Afprøv, om der er en eller flere af disse logiske konsekvenser, der er umulige. Hvis en af de nævnte konsekvenser af antitesen, der er umulig (falsk), må antitesen også være falsk. Altså følger det, at sætningen, A. må være sand. 24

25 Nul-hypotesen og alternativet Da data i sig selv ikke kan bevise, at en arbejdshypotese er korrekt, forsøger man i stedet at gennemføre noget, der svarer til et indirekte bevis med den væsentlige forskel, at ordet umulig erstattes med ordet usandsynlig. Sætningen, som man ønsker at bevise, er, at der er sammenhæng mellem rygevaner og helbred. Antitesen er den statistiske nul-hypotese: Der er ikke sammenhæng mellem rygevaner som 45-årig og helbred som 51- årig. Nul-hypotesen opstilles med den hensigt at forsøge at få den afkræftet på en så overbevisende måde, som overhovedet muligt. 25

26 Det statistiske signifikanstest og den dertil knyttede signifikanssandsynlighed er et udtryk for en logisk konsekvens af nulhypotesen. Hvis nul-hypotesen er korrekt, kan der lægges nogle grænser som det vil være usandsynligt, at teststørrelsen overskrider. F.eks.: Hvis nul-hypotesen, at rygevaner og helbred er uafhængige, er korrekt, følger det, at der kun er en sandsynlighed på for at opnå en χ 2 -teststørrelse på 50 eller derover. En teststørrelse af en sådan størrelsesorden er ikke umulig, men den er så usandsynlig, at det har mening at sige, at den er næsten umulig. 26

27 Desværre var det i stedet den mere beskedne værdi på 16.2, der dukkede op, da χ 2 -testet blev beregnet. Det er derfor ikke lykkedes at påvise, at rygning skulle være helbredsforringende. Er sagen dermed afsluttet? 27

28 Statistisk evidens Afdækning af indirekte statistisk evidens omfatter tre trin, svarende til trinene i det indirekte matematiske bevis: 1) Antag først at nul-hypotesen, dvs. alternativet til arbejdshypotesen, er korrekt. 2) Beregn en eller flere teststørrelser. 3) Afprøv, om der er en eller flere af værdierne af disse teststørrelser, der er usandsynlige. 28

29 Årsager til at man skal passe på såkaldt bevisførelse i forbindelse med statistiske analyser: Det er, at ordet umulig, er blevet erstattet af ordet usandsynlig. Testproceduren indebærer altid en vis risiko for fejl. De færreste vil betragte en hændelse, der forekommer med sandsynligheden, 0,05, som en hændelse, der kan kaldes usandsynlig grænsende til det umulige. De konventioner, der foreskriver, at det kritiske niveau for et statistisk test skal være lig med 5 %, understøtter derfor ikke umiddelbart tolkningen af et statistisk test som en procedure, der afslører forekomst af usandsynlige hændelser. 29

30 Forslaget om, at der beregnes en eller flere teststørrelser, betragtes som kontroversielt pga. sandsynlighedsteoretiske problemer. Der kan ikke fastlægges et entydigt kritisk niveau for en testprocedure omfattende to eller flere statistiske teststørrelser, eller beregnes sandsynligheder, der kan fortælle noget om den samlede grad af usikkerhed for alle teststørrelser. I stedet for at tale om statistiske beviser er det bedre at benytte udtrykket, statistisk evidens, fordi det er et svagere og mindre ambitiøst begreb. 30

31 Graden af signifikans Forskellige grader af signifikans Signifikans p-værdier Betydning svag 0.01 < p 0.05 Sjælden moderat < p 0.01 Usædvanlig stærk p Usandsynlig Det er kun stærkt signifikante p-værdier, der kan tolkes som udtryk for, at der er observeret en næsten umulig teststørrelse. Hvis p-værdierne er moderate eller svage, er bevisets stilling tilsvarende svag. 31

32 Når nul-hypotesen accepteres Konklusion nr. 1: Det har ikke været mulig at påvise en sammenhæng mellem rygevaner og helbred 32

33 Hvad der skal til for at begrunde følgende noget stærkere konklusion? Konklusion 2: Der er ikke sammenhæng mellem rygevaner og helbred Der skal være tale om klart insignifikante testresultater. Man skal kunne overbevise andre om, at man har gjort alt, hvad der overhovedet kunne gøres for at få forkastet nulhypotesen. Man skal kunne forklare, hvorfor de faglige argumenter, der ligger bag arbejdshypotesen, alligevel ikke er korrekte. Man skal kunne forklare, hvorfor eventuelle tidligere resultater, der understøttede arbejdshypotesen, var forkerte. 33

34 To naturlige, men alligevel forkerte fortolkninger af p-værdierne. p-værdien er et mål for sandsynligheden for at nul-hypotesen er korrekt. p-værdien er et mål for styrken af sammenhængen mellem to variable. Signifikanssandsynligheden afhænger af to argumenter, sammenhængens styrke og stikprøvens størrelse, p = f(styrke,størrelse) p-værdien kan derfor ikke udelukkende tolkes som et udtryk for det ene af disse argumenter. 34

35 Den eneste tolkning, der holder p-værdien er et udtryk for om det, der er blevet observeret, er mere eller mindre sandsynligt under de betingelser, som nul-hypotesen definerer. 35

36 To fejltyper: Statistiske fejlslutninger Fejl af type I forekommer, når man forkaster en rigtig nul-hypotese. Fejl af type II forekommer, når man accepterer en forkert nul-hypotese. Krav til testenes størrelse og styrke er krav der begrænser risikoen for statistiske fejl. Testets størrelse er lig med sandsynligheden for, at der ikke begås en type I fejl, hvis nul-hypotesen er korrekt, Størrelse = P(Nul-hypotesen accepteres Sand nul-hypotese) Styrken er sandsynligheden for, at der ikke bliver begået en type II fejl, hvis nul-hypotesen er forkert, Styrke = P(Nul-hypotesen forkastes Falsk nul-hypotese) 36

37 Et eller flere statistiske tests for den samme hypotese? Et indirekte bevis vil ofte kræve, at man undersøger flere forskellige konsekvenser af antitesen, før man finder en, der er umulig. Analogien mellem signifikanstestet og det indirekte bevis lægger derfor op til at man beregner flere forskellige statistiske test, og forkaster nul-hypotesen, hvis man finder et stærkt signifikant testresultat. Det multiple testproblem: Hvis man beregner mere end et test er dette ganske besværligt at kontrollere størrelsen af testet. 37

38 Om brugen af korrelationskoefficienter som teststørrelser Argumentationen bag brugen af korrelationskoefficienter som teststørrelser: a) Hvis de to variable er uafhængige, vil den teoretiske korrelationskoefficient være lig med nul. b) Da statistiske data er behæftet med en vis grad af tilfældig variation, vil den empiriske korrelationskoefficient ikke nødvendigvis være lig med nul. Den kan dog forventes at ligge tæt på denne værdi. c) En empirisk korrelationskoefficient, der ligger relativt langt fra værdien 0, er et udtryk for manglende overensstemmelse mellem nul-hypotesens påstand om uafhængighed, og den korrelation, der er fundet i data. 38

39 Kritiske områder for korrelationskoefficienter Korrelationskoefficientens værdiområde opdeles i to områder, - et kritisk område med værdier, der ligger langt fra nul, og hvor der kun er en lille sandsynlighed f.eks. 5% - for at komme ud, hvis variablene er uafhængige, - et ikke-kritisk område af værdier tæt på nul, med en stor sandsynlighed for at finde den korrelationskoefficient, hvis hypotesen er sand. K = korrelationskoefficienten κ = en kritisk værdi således at P(K -κ ) + P(K κ) = 0.05 p = P(K -k) + P(K k) -1 -κ 0 +κ +1 39

40 Konverteringen af gammakoefficienten til en statistisk teststørrelse: Standardfejlen, SE 0 (γ), for γ-koefficienten beregnes under forudsætning af at nul-hypotesen er korrekt. Dvs. under forudsætning af, at γ = 0. Derefter beregnes en standardiseret teststørrelse, Z = γ/se 0 (γ). Da γ er tilnærmelsesvist normalfordelt vil Z tilnærmelsesvis have en standardiseret normalfordeling. Antag at z 0 er den observerede værdi af den standardiserede γ-koefficient. p-værdien kan herefter beregnes som summen af to sandsynligheder fra den standardiserede normalfordeling: p = P(Z - z 0 ) + P(Z + z 0 ) 40

41 Rygevaner og helbred helbred som 51 årig rygevaner som 45 årig Total aldrig nej usædvanlig godt godt mindre godt elendigt Total ,7% 76% 6,3% 1,0% 100% ,6% 78% 6,3% 100% ,3% 74% 8,8% 1,3% 100% ,0% 73% 15,3% 2,7% 100% ,9% 85% 8,8% 2,9% 100% ,2% 76% 9,4% 1,4% 100% γ = Standardfejl under nul-hypotesen = Z = p = P(Z ) + P(Z 3.300) = γ-koefficienten omstøder den konklusion, som χ 2 -testet kom frem til. 41

42 Ensidede eller tosidede test Retningsbestemte hypoteser Den faglige arbejdshypotese: de, der ryger mest, har det dårligste helbred. Dette bør derfor også være alternativet til den statistiske nul-hypotese. Kritiske områder for ensidede test κ +1 Ensidede p-værdier p = P(Z z 0 ) p ensi det = p tosi det γ-koefficienten for sammenhængen mellem rygevaner og helbred har en ensidet p-værdi er på