Statistik II 1. Lektion Analyse af kontingenstabeller
Kursusbeskrivelse Omfang 5 kursusgange (forelæsning + opgaveregning) 5 kursusgange (mini-projekt) Emner Analyse af kontingenstabeller Logistisk regression Generelle lineære modeller Log-lineære modeller Software: Masser af SPSS Eksamen Mundtlig, individuel, med udgangspunkt i mini-projekt Dato: Det skal vi have aftalt mind mig lige om det!!
Variabeltyper Spørgeskemaundersøgelse (Survey) Svartyperne er Kategoriske der er et antal svarmuligheder Nominel kategorisk, dvs. ordnede kategorier Fx. Indkomstgruppe: Lav, Mellem eller Høj Ordinale kategoriske, dvs. kategorier uden ordning. Fx. Favorit M&M: Rød, Grøn eller Blå.
Dikotome variable Dikotom variabel: Kategorisk variabel med kun to kategorier. Fx Ja/Nej, Mand/Kvinde, Sort/Hvid. Hvis de to kategori er hhv 0 og 1kaldes variablen binær. I SPSS omkoder dikotome variable til binære hold øje med hvad omkodes til hvad. I dag: Analyse af sammenhæng mellem to ellere flere dikotome variable.
Kontingenstabel: Eksempel Sammenhængen mellem arbejdsløshed og eksponering for vold: Arbejdsløs Nej 2483 96.9% Ja 386 94.6% Total 2869 96.6% Er der en sammenhæng? Udsat for vold/trusler Nej Ja Total 80 3.1% 22 5.4% 102 3.4% 2563 408 2000
Sammenligne forhold Antagelser: Data repræsentativ for befolkningen Der er en kausalitet Udsat for vold/trusler Nej Ja Total Arbejdsløs Nej 2483 96.9% Ja 386 94.6% Total 2869 96.6% 80 3.1% 22 5.4% 102 3.4% 2563 408 2000 Ide: Sammenlign forholder mellem Nej er og Ja er blandt hhv. folk i og uden arbejde: I arbejde : 2483/80 = 31.03 Uden arbejde: 386/22 = 17.54 Kaldes også Odds Delkonklusion: De ser ret forskellige ud!
Forhold mellem forhold Næste trin: Forholdet af forholdene: 2463 80 386 22 = 2563 22 386 80 1.83 Hvis de to forhold er ens, så er forholdet mellem forholdene = 1.
Krydsprodukt-forholdet En 2x2 tabel: a c b d Krydsproduktforhold: Forholdet mellem række-forhold: Forholdet mellem søjle-forhold: κ = a b c d a c b d = = ad cb ad bc ad cb Det samme!
γ-koeffcienten Definition: Relation til κ:... og omvendt: γ = ad ad + κ 1 γ = κ + 1 1+ γ κ = 1 γ bc bc Der er en en-til-en korrespondance mellem γ og κ. Dvs. γ og κ indeholder samme information om data.
Fortolkning af γ γ = ad ad + bc bc γ = 0 hvis X og Y er uafhængige. γ = +1 hvis b eller c er lig nul, dvs. hvis stærkest mulige positive relation i data. a 0 0 d γ = 1 hvis a eller d er lig nul, dvs. hvis stærkest mulige negative relation i data. 0 b c Minder om almindelig korrelation. 0
Generel kontingenstabel I en kontingenstabel indeholder hver celle det antal observationer, der falder inden for den givne kombination af kategorier. Farve på foretrukne M&M Rød Grøn Blå Køn Mand 21 35.0% 13 21.7% 26 43.3% 60 Kvinde 34 53.2% 7 10.9% 23 35.9% 64 Total 55 44.4% 20 16.1% 49 39.5% 124 Celle: Antal personer, der er kvinde og som foretrækker rød Spørgsmål: Er der sammenhæng mellem farvevalg og køn?
Spørgsmålet på hovedet Spørgsmål: Er der sammenhæng mellem farvevalg og køn? Vi vender spørgsmålet på hovedet: Spørgsmål: Kan vi afvise at der ingen sammenhæng er mellem køn og farvevalg? Antag at der ingen sammenhæng er mellem køn og farvevalg. Hvilket antal observationer ville vi så forvente i hver celle i vores kontingenstabel? Vi antager at de marginale antal ligger fast, dvs. det totale antal mænd, kvinder, røde, grønne og blå.
Forventede antal Hvis der ingen sammenhæng er mellem køn og farvevalg, så bør procentfordelingen være den samme blandt mænd og kvinder. Farve på foretrukne M&M Rød Grøn Blå Køn Mand 60 Kvinde 64 Total 55 44.4% 20 16.1% 49 39.5% 124 Andel røde: 55/124 = 44.4% Forventede røde blandt mænd: 44.4% af 64 = 64*55/124 = 28.4
Generel formel for det forventede I hver celle har vi X ij : observerede antal i celle (i,j) E ij : forventede antal i celle (i,j) Desuden har vi N: Totale antal observationer C i : Antal observationer i te kolonne R j : Antal observationer er j te række Forventede antal for celle ( i,j ) er E ij = C i R j / N
Ombytning uden betydning Vi kan bytte rundt på farve og køn uden at det gør en forskel: Andelen af mænd: 60/124 = 48.4% Forventede antal mænd blandt røde: 48.4% af 55 = 55*60/124 = 28.4
Så langt så godt Vi har Vi har arbejdshypotesen at der ikke er sammenhæng mellem køn og farvevalg Vi har fundet de forventede antal, hvis arbejdshypotesen er sand. Vi mangler Vi mangler et mål for hvor meget de forventede antal afviger fra de forventede. Vi mangler en måde at afgøre, hvornår afvigelsen er så stor, at vi ikke længere kan acceptere arbejdshypotesen.
Mål for afvigelsen Vi bruger følgende mål 2 χ ( X E ) = ij E i j ij ij 2 Vi kalder χ 2 ( ki-i-anden ) en teststørrelse. χ 2 bruges til at teste arbejdshypotesen. Bemærk: χ 2 0 χ 2 = 0 perfekt match Jo større χ 2, jo mindre tror vi på arbejdshypotesen
χ 2 teststørrelse for eksemplet I en kontingenstabel indeholder hver celle det antal observationer, der falder inden for den givne kombination af kategorier. Køn Mand 21 26.6 Kvinde 34 28.4 Farve på foretrukne M&M Rød Grøn Blå 2 21 26.6 13 9.7 26 23.7 23 25.3 χ = + + + + = 4.9 26.6 9.7 23.7 25.3 Spørgsmål: 4.9 er ikke nul! Men er det så langt fra nul, at vi ikke kan acceptere arbejdshypotesen om ingen sammenhæng? 13 9.7 7 10.3 26 23.7 23 25.3 Total 55 20 49 124 2 2 2 ( ) ( ) ( ) ( ) 2 60 64
Simuleret svar Antag at arbejdshypotesen er sand. Vi får en computer til at simulere nye tabeller, under antagelse af at arbejdshypotesen er sand at række- og søjletotaler er som de observerede. For hver tabel udregner vi χ 2. Resultat med 1000 nye tabeller: Hvis arbejdshypotesen er sand vil 8.2% af tabellerne have en mere ekstrem χ 2 værdi. Er χ 2 = 4.9 ekstremt?
Lidt mere teoretiske tilgang
Lidt mere teoretisk tilgang Vi har en teoretisk fordeling, der svarer til histogrammet: En såkaldt χ 2 -fordeling med 2 frihedsgrader. Det røde areal svarer til sandsynligheden for at observere en mere ekstrem χ 2 -værdi. Her er arealet 8.49%. Denne værdi kaldes også p-værdien. I en general tabel med r rækker og c kolonner, vil histogrammet svare til en χ 2 -fordeling med (r-1)(c-1).
Beslutningen! Jo mere ekstrem χ 2 -værdi, jo mindre tror vi på arbejdshypotesen. Jo mere ekstrem χ 2 -værdi, jo mindre p-værdi. Hvis p-værdien er mindre end 5% så afviser vi arbejdshypotesen. Vi siger at testen (af arbejdshypotesen) er signifikant. Grænsen på de 5% kaldes signifikans-niveauet, og betegnes α. Signifikans-niveauet kan vælges frit, mer er typisk 10%, 5% eller 1%. Signifikans-niveauet vælges før teststørrelsen udregnes! I eksemplet kan vi ikke afvise arbejdshypotesen. Vi kan altså ikke afvise af der ingen sammenhæng er mellem køn og farvevalg.
Signifikanstest generelt 1) Opstil statistisk model / statistiske antagelser 1) Fx. at stikprøven er tilfældigt udvalgt. 2) Opstil arbejds-hypotese 1) Betegnes H 0, nul-hypotesen 2) Fx. uafhængighed mellem køn og farvevalg 3) Opstil alternativ-hypotese 1) Den modsatte hypotese af H 0 2) Betegnes H 1 Bemærk: Arbejdshypotesen er ikke nødvendigvis den hypotese vi tror på eller gerne vil bevise. Arbejdshypotesen er generelt valgt, så den er mere præcis end alternativ-hypotesen. Uafhængighed (ingen sammenhæng) er præcist, mens alternativet, afhængighed, kan være mange ting.
Signifikanstest generelt forts. 1) Vælg signifikans niveau α 1) Typisk 5%. 2) Konstruer en test-størrelse 1) Hvilke værdier er ekstreme for H 0? 2) Beregn teststørrelsen 3) Beregning af test-størrelse ordnes af SPSS 3) Beregn p-værdien 1) p-værdien er sandsynligheden for at observere en mere ekstrem test-størrelse næste gang, under antagelse af at modellen og dens antagelser er korrekte. 4) Hvis p-værdien < α, så kan vi ikke afvise H 0. 5) Hvis p-værdien > α, så afviser vi H 0 og accepterer H 1 hypotesen. 6) Fortolk resultatet.
Man begår fejl Når vi udfører en signifikanstest kan vi begå en af to fejl Type 1 fejl: Vi afviser H 0 selvom den er sand Type 2 fejl: Vi accepterer H 0 selvom den er falsk Antag modellen er korrekt, H 0 er sand og at vi har valg et signifikansniveau α. Hvad er da sandsynligheden for at begå en Type 1 fejl?
Lidt gode råd p-værdien er ikke sandsynligheden for at H 0 er sand. p-værdien er ikke er udtryk for styrken af sammenhængen mellem to variable. p-værdien kan fortolkes som et udtryk for hvor meget vi tror på H 0 hypotesen. HVER GANG i ser en p-værdi i SPSS ( sig. ), så gør jer hver gang klart, hvilken H 0 hypotese den passer sammen med!!! Det er nemt nu, men det bliver mere indviklet senere
Eksempel i SPSS Analyze Descriptive Statistics Crosstabs
SPSS output Opstiller hypoteser: H 0 : Uafhængighed mellem arbejdsløs og vold/trusler H 0 : Afhængighed Sig. niv. α = 5% χ 2 -teststørrelse p-værdi Da p-værdien < 0.05 afviser vi at arbejdsløshed og vold/trusler er uafhængige.
Mere SPSS output
Mere end to variable Indtil nu: Afgøre om der er en (statistisk signifikant) sammenhæng mellem to kategoriske variable. Det næste: Kan andre katogoriske kontrolvariable hjælpe med at forstå sammenhængen? Ideen er at inddele det indsamlede data efter hvert svar i kontrolvariablen. Og derefter gentage tabelanalysen for hver delmængde af data. Vi siger vi stratificerer efter kontrolvariablen. Lad os se på nogle eksempler
Sammenhæng mellem race og dom Morder Sort 59 2.4% Dom Dødsdom Anden dom Total Hvid 72 3.2% Total 131 2.7% 2448 97.6% 2185 96.8% 4633 97.3% 2507 2257 4764 Test: H 0 : Ingen sammenhæng ml. race og dom. Teststørrelse: χ 2 = 3.1, df = 1, p = 0.078 ( > 0.05 ), γ = -0.155 Konklusion: Vi kan ikke afvise H 0. Dvs., vi kan ikke afvise, at der er uafhængighed mellem morders race og afsagt dom. (Simpelt: Ingen sammenhæng)
Kontrolvariabel: Offers race Dom Offer Dødsdom Anden dom Total Sort Morder Sort 11 0.5% 2209 99.5% Hvid 111 Total 11 0.5% Hvid Morder Sort 48 16.7% Hvid 72 3.4% Total 120 2.7% 2320 99.5% 239 83.3% 2074 96.6% 2313 95.1% 2220 111 2331 287 2146 2433 Χ 2 = 0.55 df = 1 p = 0.59 γ = 1.00 Χ 2 = 96.5 df = 1 p = 0.000 γ = 0.71
Opsummering Sammenhængen mellem race og dom var skjult Ikke-stratificeret analyse: Ikke-signifikant sammenhæng Stratificeret analyse: Signifikant sammenhæng Sammenhængen er muligvis lokal Kun signifikant sammenhæng når offer er hvid Simpsons paradoks sammenhængen er vendt Ikke-stratificeret analyse: Hvide straffes hårdest! Stratificeret analyse: Sorte straffes hårdest uanset offers race.
Stratificering i SPSS Stratificering efter offers race.
Elaborering: Arbejde og boligforhold Bolig God Dårlig Total Tilknytning til arbjedsmarkedet Fuldtid 83 69.7% Deltid 74 82.2% 36 30.3% 16 17.8% 119 90 Pensioneret 736 82.5% 156 17.5% 892 Ingen 167 77.0% 50 23.0% 217 Total 1060 80.4% 258 19.6% 1318 Test: H 0 : Ingen sammenhæng mellem arbejde og boligforhold. Teststørrelse: Χ 2 = 12.9, df = 3, p = 0.005 Konklusion: Signifikant sammenhæng
Bemærkninger Tabellen viser sammenhængen mellem arbejde og boligforhold blandt 70-årige i 1967 og 1984. Hvad mon forklarer denne sammenhæng? Lad os stratificere efter år, dvs. separate tabeller for 1967 og 1984.
Elaborering: Job-status og boligstandard Bolig God Dårlig Total 1967 Tilknytning til arbjedsmarkedet Fuldtid 83 69.7% Deltid 74 82.2% 36 30.3% 16 17.8% 119 90 Pensioneret 736 82.5% 156 17.5% 892 Ingen 167 77.0% 50 23.0% 217 Total 1060 80.4% 258 19.6% 1318 Test: H 0 : Ingen sammenhæng ml. job-status og boligstandard. Teststørrelse: Χ 2 = 0.0, df = 3, p = 0.998 Konklusion: Vi kan ikke afvise H 0 : Ingen signif. sammenhæng.
Elaborering: Job-status og boligstandard Bolig God Dårlig Total 1984 Tilknytning til arbjedsmarkedet Fuldtid 83 69.7% Deltid 74 82.2% 36 30.3% 16 17.8% 119 90 Pensioneret 736 82.5% 156 17.5% 892 Ingen 167 77.0% 50 23.0% 217 Total 1060 80.4% 258 19.6% 1318 Test: H 0 : Ingen sammenhæng ml. job-status og boligstandard. Teststørrelse: Χ 2 = 1.3, df = 3, p = 0.725 Konklusion: Vi kan ikke afvise H 0 : Ingen signif. sammenhæng.
Konklusioner Sammenhængen mellem arbejde og boligforhold forsvinder når vi stratificerer efter kohordeår. Vi siger at kohordeåret forklarer sammenhængen mellem arbejde og boligforhold. Statistiker: Betinget uafhængighed.