Tidlige eksempler. Susanne Ditlevsen Institut for Matematiske Fag susanne

Transkript

1 Statistik og Sandsynlighedsregning Repetition Statistik Susanne Ditlevsen Institut for Matematiske Fag susanne New England Journal of Medicine gav i 2000 et bud på de most important medical developments of the past millenium. En af dem var Application of statistics to medicine Det stod nævnt side om side med f.eks Elucidation of human anatomy and physiology Editors, 2000) 9. undervisningsuge 2 Tidlige eksempler 747: James Lind randomiserede 2 skørbugspatienter til 6 forskellige behandlinger cider, vitriol eliksir, eddike, havvand, citrusfrugter og en eliksir bestående af bl.a. muskatnød, hvidløg, sennep og myrra) om bord på skibet Salisbury. 3 4

2 Tidlige eksempler 747: James Lind randomiserede 2 skørbugspatienter til 6 forskellige behandlinger cider, vitriol eliksir, eddike, havvand, citrusfrugter og en eliksir bestående af bl.a. muskatnød, hvidløg, sennep og myrra) om bord på skibet Salisbury. 847: Ignaz Semmelweis opdagede sammenhæng mellem forurening fra lig og barselsfeber. Ved at kræve at hospitalspersonalet skulle vaske hænder efter at have skåret i lig inden de gik ind på fødestuen, nedsattes barselsfeberdødeligheden fra 2% til 2%. 5 6 Tidlige eksempler 747: James Lind randomiserede 2 skørbugspatienter til 6 forskellige behandlinger cider, vitriol eliksir, eddike, havvand, citrusfrugter og en eliksir bestående af bl.a. muskatnød, hvidløg, sennep og myrra) om bord på skibet Salisbury. 847: Ignaz Semmelweis opdagede sammenhæng mellem forurening fra lig og barselsfeber. Ved at kræve at hospitalspersonalet skulle vaske hænder efter at have skåret i lig inden de gik ind på fødestuen, nedsattes barselsfeberdødeligheden fra 2% til 2%. 854: John Snow viste at kolera smitter igennem forurenet vand. Endnu en stor epidemi hærgede i Soho i London, og han opdagede at alle døde havde drukket fra den samme gadebrønd. Brønden blev lukket og epidemien blev standset

3 Repetition Observation En vektor af tal x x,..., x n ) E. x repræsenterer udfaldet af et eller flere) eksperimenter, og antages at være værdien af en stokastisk variabel X X,..., X n ). Udfaldsrum E IR n. E er mængden af alle mulige udfald. Mulige sandsynlighedsfordelinger På E har vi mængden af mulige sandsynlighedsfordelinger for X. 9 0 Hvad er en statistisk model? Afgrænsningen af de mulige sandsynlighedsfordelinger formaliserer vor forhåndsviden eller vore forhåndsantagelser om problemet. De enkelte fordelinger formaliserer den usikkerhed der er forbundet med observationerne. Mængden af mulige sandsynlighedsfordelinger formaliserer den uvidenhed vi har om de mekanismer, der har frembragt observationerne. Formålet med den statistiske analyse er at fjerne noget af uvidenheden om de bagvedliggende mekanismer, der har frembragt observationen. Statistisk model Mængden af sandsynligheder skal kunne indiceres ved en parameter θ Θ IR d. Statistisk model. E, P θ ) θ Θ ), hvor P θ ) θ Θ er en familie af sandsynligheder på E. Parameterområde. Parameterområdet Θ IR d er en indeksmængde for familien af sandsynligheder i modellen. θ Θ er parameteren. 2

4 Estimatorer At vælge en fordeling på grundlag af observationen x kaldes at estimere eller på dansk at skønne). Formålet er at vælge den sandsynlighedsfordeling i modellen, der i en eller anden forstand passer bedst med vores observation. Fordelingen P θ identificeres ofte med parameteren θ, så man estimerer parameteren θ. En estimator bliver så en afbildning fra E ind i Θ, altså en afledt) stokastisk variabel med en fordeling. En god estimator skal være central: E ˆθ θ. Den skal have lille varians. Hypotese Formålet med en statistisk analyse er ofte at undersøge en eller flere på forhånd opstillede hypoteser. Hypotesen skal kunne identificeres med nogle bestemte fordelinger i modellen, og svarer således til en mindre familie af sandsynlighedsfordelinger på udfaldsrummet E P θ ) θ Θ0 Hypotesen betegnes ofte med H og skrives hvor P θ ) θ Θ0 P θ ) θ Θ H : θ Θ Test for simpel hypotese Teststørrelse Et test er en metode til at afgøre, om observationen x kan antages at svare til et P θ i hypotesen. Vi har Den fulde model: M : θ Θ Hypotesen: H : θ θ 0 Alle mulige udfald observationer) ordnes efter, hvor godt de stemmer overens med hypotesen. En sådan ordning kan opfattes som en afbildning T fra E ind i IR, hvor bestemte værdier af T repræsenterer god henholdsvis dårlig tilpasning. T kaldes en teststørrelse. Testsandsynlighed Antag at T x ) T x) betyder at x passer mindst lige så dårligt med hypotesen som x. Vi bruger teststørrelsen til at måle, hvor god tilpasningen er ved hjælp af testsandsynligheden ɛx) P θ0 {x E : T x ) T x)} P θ0 T X) T x)) Testsandsynligheden udtrykker sandsynligheden for at få en observation der passer dårligere end det vi har observeret under antagelsen om, at hypotesen er opfyldt, altså at observationerne stammer fra P θ0. Hypotesen accepteres hvis observationen viser tilstrækkelig god overensstemmelse. Hypotesen forkastes hvis overensstemmelsen er for dårlig. 5 6

5 Signifikansniveau og kritisk område Man forkaster hypotesen H : θ θ 0 på niveau α, eller siger at testet udviser signifikans på niveau α hvis ɛx) α Lad α ]0, [ være signifikansniveau ved test af hypotesen H. Da er det kritiske område givet ved K α KH, α) {x E : ɛx) α} Fejl af type I og II Funktion af observationen x H accepteres H forkastes H er sand OK Type I fejl ukendt) α H er falsk Type II fejl OK ukendt) β 7 8 Likelihoodmetoden Metode til konstruktion af estimatorer og teststørrelser. P θ er diskret med sandsynlighedsfunktion p θ θ Θ. Likelihoodfunktion : L : E Θ [0, ] Lx, θ) p θ x) Lx, θ) er sandsynligheden for at få observationen x, når X s fordeling er P θ. Maximum likelihood estimator Definition) Maximum likelihood estimatoren fås ved at vælge den sandsynlighedsfordeling i modellen, der passer bedst med vores observation i følgende forstand: ˆθ ˆθx) Θ er maximum likelihood estimatoren for θ, hvis Lx, ˆθ) Lx, θ) θ Θ 9 20

6 Beregning af Maximum likelihood estimator Maximum likelihood estimatoren findes ved at maksimalisere L som funktion af θ for fastholdt x, altså en funktionsundersøgelse af L. Dette gøres oftest ved at maksimalisere log-likelihood funktionen: lθ) log Lθ) Udover at angive et punktestimat er det vigtigt at angive hvor nøjagtigt estimatet er. Usikkerheden kan angives med et konfidensinterval. Et α) konfidensinterval, hvor α [0, ], er et interval af formen Y, Y 2 ) hvor Y i g i X,..., X n ), i, 2, er stokastiske variable, således at P θ Y < θ < Y 2 ) α Maximum findes ofte) ved at løse likelihood ligningen d dθ lθ) 0 ˆθ ˆθX) er en afledt) stokastisk variabel med en fordeling Når n er stor kan vi konstruere følgende konfidensinterval ˆθ z α/2 sˆθ ; ˆθ + z α/2 sˆθ) hvor z α/2 er α/2) fraktilen i normalfordelingen. afhænger af fordelingen af X) Vi har Kvotienttest Lx, ˆθ) Lx, θ) θ Θ Lx, ˆθ 0 ) Lx, θ) θ Θ 0 Metode til konstruktion af teststørrelse: Da P θ ) θ Θ0 også er en statistisk model, kan vi definere likelihoodfunktionen under hypotesen L : E Θ 0 [0, ] Lx, θ) p θ x) og beregne maximum likelihood estimatoren ˆθ 0 under hypotesen. og da Θ 0 Θ fås Lx, ˆθ) Lx, ˆθ 0 ) Kvotientteststørrelsen for observationen x defineres ved Qx) Lx, ˆθ 0 x)) Lx, ˆθx)) pˆθ x) 0x) pˆθx) x) Vi har 0 Qx). En observation passer bedre med hypotesen jo større dens Q værdi er

7 Testsandsynlighed Vi ser på mængden {x E : Qx ) Qx)} {QX) Qx)}. Sandsynligheden for at få noget, der er værre end det observerede, hvis den rigtige fordeling er P θ, θ Θ 0, er P θ {QX) Qx)}), θ Θ 0 Testsandsynligheden ɛ for observationen x er givet ved ɛx) sup θ Θ 0 P θ {QX) Qx)}) Hvis testsandsynligheden er stor eksisterer der en fordeling i hypotesen, der giver vores observerede værdi relativ) høj sandsynlighed. Dvs. observationen bekræfter hypotesen. Approximativ fordeling af kvotienttestsstørrelsen Statistisk model E, P θ ) θ Θ ) med hypotese H: θ Θ 0, hvor Θ og Θ 0 har dimension d og d 0, henholdsvis. Når observationsantallet går mod uendelig under passende betingelser, gælder at 2 log QX) er approximativt χ 2 fordelt med d d 0 frihedsgrader: hvor F χ 2 f P θ QX) Qx)) F χ 2 d d0 2 log Qx)), F χ 2 f x) x 0 2 f/2 Γf/2) y f 2 e y 2 dy. er fordelingsfunktionen for χ 2 fordelingen med f frihedsgrader Pearsontest eller χ 2 test Observation X X,..., X k, hvor X i erne er antal. Ud fra maximum likelihood estimatoren beregnes for hvert X i et skøn, ÊX i, for EX) under hypotesen, og man bruger som teststørrelse. X 2 k x i ÊX i) 2 i ÊX i Hvis man kan bruge det approksimative test i kvotienttestet, så vil 2 log Qx) og X 2 med stor sandsynlighed ligge nær hinanden. Testsandsynligheden ɛx) i Pearson testet kan under de samme betingelser som i kvotienttestet approksimeres ved følgende udtryk ɛx) F χ 2 d d0 X 2 ) Eksempel Kønsproportion og familiemønstre.) Register Kvinnefilen), der for alle norske kvinder født efter 935 indeholder oplysninger om køn og fødselsdato for hvert barn. Fordeling af køn for de to første børn. Norge Andet barn Pige Dreng Ialt Første barn Pige Dreng Ialt Er der sammenhæng mellem første og andet barns køn? 27 28

8 Alle børnepar i tabellen har forskellige mødre tvillingefødsler er ikke medtaget). Det er således rimeligt at beskrive andet barns køn ved to uafhængige binomialfordelinger: X Bn, p ): antal piger ved anden fødsel for kvinder hvis første barn er en pige X 2 Bn 2, p 2 ): antal piger ved anden fødsel for kvinder hvis første barn er en dreng Forskningsspørgsmål: Er der sammenhæng mellem de to første børns køn? Hypotesen om uafhængighed ingen sammenhæng) kan identificeres med hvor n og n og H : p p 2 p : sandsynlighed for at andet barn er pige når første barn er pige p 2 : sandsynlighed for at andet barn er pige når første barn er dreng Statistisk model Maximum likelihood estimatorer hvor E, Pp,p 2)) p,p 2) [0,] 2 ) E {0,..., } {0,..., } Maximum likelihood estimator under den fulde model ˆp, ˆp 2 ) x, x ) n n , ) , ) P p,p 2)X x) ) p x x p ) x ) p x2 2 p 2) x2 x 2 Maximum likelihood estimator under H ˆp x + x 2 n + n

9 Kvotientteststørrelse 2 ) xi ) nr x ˆp ˆp i Qx) ˆp i i ˆp i ) x ) n x ˆp ˆp ) x2 ˆp ˆp ˆp ˆp ˆp 2 ˆp ) n2 x 2 Vi har estimeret sandsynligheden for at få en pige ved anden fødsel til ˆp Pigehyppighed blandt førstefødslerne er n n + n således at 2 log Qx) 2 log Q0.327) Kan denne meningsfyldt sammenlignes med pigehyppighed blandt andenfødslerne? Approksimation til testsandsynlighed ɛx) F χ ) 0.35 Fortolkning? - Hypotesen accepteres Vi har estimeret sandsynligheden for at få en pige ved anden fødsel til ˆp Pigehyppighed blandt førstefødslerne er n n + n Kan denne meningsfyldt sammenlignes med pigehyppighed blandt andenfødslerne? NEJ! Tabellen indeholder kun information om andengangsfødende. Hvad nu hvis tilbøjelighed til at få endnu et barn afhænger af første barns køn? Antal Børnenes Antal % % kvinder med børn køn kvinder endnu et barn pige dreng Ialt piger pige, dreng drenge Ialt piger piger, dreng pige, 2 drenge drenge Ialt

10 Etbarnsmødre Forskningsspørgsmål: Afhænger tilbøjeligheden til at få endnu et barn af tidligere børns køn? Etbarnsmødre Tobørnsmødre Trebørnsmødre Antal Børnenes Antal % % kvinder med børn køn kvinder endnu et barn pige dreng Ialt Pigehyppighed blandt etbarnsmødre estimeres til kan sammenlignes med pigehyppigheden ved anden fødsel estimeret til ) Da hyppigheder for at få endnu et barn er stort set ens 74.7% og 74.8%) antages disse ikke at afhænge af første barns køn Tobørnsmødre Antal Børnenes Antal % % kvinder med børn køn kvinder endnu et barn 2 piger pige, dreng drenge Ialt Lader til at hyppighed for et tredie barn afhænger af kønnene på de børn, man allerede har. Hypotese: forældre ønsker børn af begge køn. Statistisk model n pp, n pd, n dd og x pp, x pd, x dd angiver hhv. antallet af familier med en given børnekombination for de to første børn som vi opfatter som givet) og antallet af familier med den givne børnekombination, der har fået endnu et barn vores observationer). hvor og E, Ppdd,p pd,p dd)) ppp,p pd,p dd) [0,] 3 ) E {0,..., n pp } {0,..., n pd } {0,..., n dd }) P ppp,p pd,p dd )X pp x pp, X pd x pd, X dd x dd ) nj ) x jpp,pd,dd x j p j j p j) nj xj) 38 39

11 Hypoteserne bliver H : p pp p dd p [0, ], p pd [0, ] H 2 : p pp p dd p pd p [0, ] Under modellen varierer de tre sandsynlighedsparametre frit og likelihoodfunktionen bliver L : {0,..., n pp } {0,..., n pd } {0,..., n dd } [0, ] 3 [0, ] ) nj Lx, p pp, p pd, p dd )) p xj j p j) nj xj) jpp,pd,dd Maximum likelihood estimatorerne bliver xpp ˆp pp, ˆp pd, ˆp dd ), x pd, x ) dd 0.446, 0.396, 0.450) n pp n pd n dd x j Under H bliver likelihoodfunktionen L : {0,..., n pp } {0,..., n pd } {0,..., n dd } [0, ] 2 [0, ] ) ) nr Lx, p, p pd )) p xr p) nr xr) npd p x pd pd p pd) n pd x pd ) x r rpp,dd ) npp ndd x pp npd x pd x dd x pd ) p xpp+x dd p) npp+n dd x pp+x dd )) ) p x pd pd p pd) n pd x pd ) og maximum likelihood estimatorerne bliver xpp + x dd ˆp, ˆp pd ), x ) pd 0.448, 0.396) n pp + n dd n pd 40 4 Kvotientteststørrelsen Q x) for test af H mod den fulde model bliver Q x) Lx, ˆp, ˆp pd ) Lx, ˆp pp, ˆp pd, ˆp dd ) ˆpx pd pd ˆp pd) n pd x pd ) jpp,dd ˆpxj ˆp) nj xj) ˆp j) nj xj) jpp,pd,dd ˆpxj j ˆpxpp+x dd ˆp) npp+n dd x pp+x dd )) jpp,dd ˆpxj ˆp j) nj xj) Vi får ved indsættelse 2 log Qx) Den approksimative testsandsynlighed er j ɛ x) F χ ) Vi kan således lige netop godkende hypotesen på 5%-niveau. Vi kan derefter undersøge, om alle familier har samme tilbøjelighed til at få et barn til, altså undersøge H 2 med H som udgangsmodel. Under H 2 har vi p x pp + x dd + x pd n pp + n dd + n pd Kvotientteststørrelsen Q 2 x) for test af H 2 mod H bliver Q 2 x) Lx, p) Lx, ˆp, ˆp pd ) nj x jpp,pd,dd x j ) p j p) nj xj) nj jpp,dd x j )ˆp x j ˆp) n j x j) n pd x x pd )ˆp pd pd ˆp pd) n pd x pd ) p xpp+x dd+x pd p) npp+n dd+n pd x pp+x dd +x pd )) ˆp xpp+x dd ˆp) n pp+n dd x pp+x dd )) ˆp x pd pd ˆp pd) n pd x pd ) 42 43

12 Hvad nu hvis vi havde testet H 2 overfor den fulde model i stedet for overfor H : Vi får ved indsættelse 2 log Q 2 x) 285 og ɛ 2 x) F χ 2 285) < Stærkt signifikant. Qx) Lx, p) Lx, ˆp pp, ˆp dd, ˆp pd ) nj x jpp,pd,dd x j ) p j p) nj xj) nj x jpp,dd,pd x j )ˆp j j ˆp j) nj xj) ɛx) F χ ) < Stærkt signifikant Kønsfordeling i tobørnsfamilier Hvordan fordeler børn sig faktisk på køn? Hvad skal man mene om følgende notits fra Information? Forestil dig, at du skal købe to gaver med hjem fra ferien for at glæde din kollegas to børn. Mens du leder i legetøjsbutikken kommer du i tanker om, at du ikke kan huske om de begge er drenge.... Hvad er apriori sandsynligheden for at et ægtepar med to børn har to drenge? Svar /4. Information, ) Lad X X 0, X, X 2 ) være antal familier med henholdsvis 0, og 2 drenge. X antages polynomialfordelt med udfaldsrum D 3 n) og parameterrum 3. Her er n Hypotese: Drengehyppighed afhænger ikke af første barns køn. Kan identificeres med følgende hypotese: Antallet af drenge i tobørnsfamilier er binomialfordelt med sandsynlighedsparameter q [0, ]

13 Sandsynlighed for at en tobørnsfamilie har netop y drenge, y {0,, 2} bliver ) 2 P q Y y) q y q) 2 y y Under hypotesen bliver familier med 0, eller 2 drenge således polynomialfordelt med sandsynlighedsvektor: p 0, p, p 2 ) q) 2, 2q q), q 2) Under den fulde model estimerer vi som sædvanlig ved de observerede hyppigheder: ˆp 0, ˆp, ˆp 2 ) x0 n, x n, x ) 2 n 0.237, 0.499, 0.264) og antalsparameter n, hvor q [0, ] Likelihoodfunktion under hypotesen: Kvotientteststørrelsen bliver: L : D 3 n) [0, ] [0, ] ) n Lx, q) q) 2 ) x 0 x 2q q)) q 2 ) x 2 x 0, x, x 2 ) n 2 x q x+2x2 q) 2x0+x x 0, x, x 2 ˆq x + 2x 2 2n Bemærk: ˆq er netop hyppigheden af drenge blandt alle børn. Qx) ˆq) 2 ) x 0 2ˆq ˆq)) x ˆq 2 ) x 2 2 s0 ˆpxs s ) x+2x x + 2x 2 2 x + 2x 2 2 x 2n 2n 2 xs ) xs s0 n 0.33 ɛx) F χ 2 2 log Qx)) 0.36 Fortolkning? )) 2x0+x 50 5

14 Tobørnsmødre Hvad har vi testet? Hvordan de to første børn fordeler sig på drenge og piger. Men hvordan er fordelingen hos familier med netop to børn? Antal Børnenes Antal % % kvinder med børn køn kvinder endnu et barn 2 piger pige, dreng drenge Ialt Tobørnsmødre med netop to børn Antal Børnenes Antal % børn køn kvinder 2 piger pige, dreng drenge Ialt Under den fulde model estimeres: ˆp 0, ˆp, ˆp 2 ) 0.228, 0.52, 0.25) Under hypotesen estimeres: ˆq 0.52 Kvotientteststørrelse: Qx) 0 ɛx) F χ 2 2 log Qx)) 0 Fortolkning? 54