Statistiske principper

Transkript

1 Statistiske principper 1) Likelihood princippet - Maximum likelihood estimater - Likelihood ratio tests - Deviance 2) Modelbegrebet - Modelkontrol 3) Sufficient datareduktion 4) Likelihood inferens i praksis 1

2 Metodiske og statistiske fejl Det metodiske problem: Hvad kan der være gået galt i forbindelse med den statistiske analyse? Statistiske fejl: Skæve estimater (Bias) Usikre estimater (standardfejl/error) Forkerte konklusioner i forbindelse med statistiske test (type I og II fejl) Anvendelse af utilstrækkelige modeller Forkert oversættelse af faglige problemer til statistiske problemer Forkert tolkning af resultaterne af de statistiske analyser 2

3 Løsning af de statistiske problemer Likelihood inferens vil i large sample studier give optimale resultater hvor Estimater er uden bias usikkerheden (standardfejlen) er reduceret til det mindst mulige. risikoen for type II fejl er reduceret til det mindst mulige. hvis modellen er korrekt specificeret! Giver desuden mulighed for at Kontrollere de statistiske modeller 3

4 Likelihood-funktionen En undersøgelse af forbruget af medicin blandt danske folkeskolelærere i 1997/ tilfældigt udvalgte lærere 4 med jævnligt forbrug af smertestillende midler: Data ja ja ja ja Likelihood-værdien sandsynligheden for hele data-matricen Hvordan beregnes denne værdi? 4

5 Den statistiske model Identisk fordelte uafhængige lærer-svar p sandsynligheden for at en tilfældigt udvalgt lærer bruger smertestillende midler Likelihood-funktionen sandsynligheden for det samlede sæt af observationer (1-p)p(1-p)(1-p)p(1-p)(1-p)(1-p)p (1-p)p(1-p)(1-p)(1-p)(1-p) p 4 (1-p) 11 5

6 Likelihood funktionen som funktion af p 15 lærere - 4 med jævnligt brug af smertestillende midler,0002 Likelihood funktion Likelihood,0001 0,0000,0,1,2,3,4,5,6,7,8,9 1,0 P,00017,00016 likelihood,00015,00014,00013,22,24,26,28 p 6

7 Likelihood princippet Antag at, hypotese A implicerer, at sandsynligheden for de observerede data er lig med p A hypotesen B implicerer, at sandsynligheden for data er lig med p B. De observerede data er udtryk for større støtte til hypotese A i forhold til hypotese B, hvis p A >p B. Likelihood ratioværdien p A /p B er et udtryk for evidensens styrke. 7

8 Maximum likelihood -estimater Estimat af hyppigheden af forbruget af smertestillende medicin P Likelihood 0,2662 0, ,2663 0, ,2664 0, ,2665 0, ,2666 0, ,2667 0, ,2668 0, ,2669 0, ,2670 0, ,2671 0, ,2672 0, ,2673 0, ,2674 0, Likelihood-værdien er størst for p 0,2667 4/15 8

9 maximum likelihood estimatet den parameterværdi for hvilken likelihoodværdien er den størst mulige Den formelle definition Ukendt parameter: θ (kan evt. være flerdimensional) Likelihood funktionen: L(θ) P(data,θ) Maksimum likelihood estimatet: ˆ θ θ θ θ ( θ ) > ( θ ) { L L } 0 0 Den maksimale værdi af likelihoodfunktionen, L( ˆ θ ), spiller en væsentlig rolle i for forbindelse med hypotesetest og modelkontrol. 9

10 I de fleste situationer er maximum likelihood estimatet asymptotisk optimalt: 1) Estimaterne er ikke skæve 2) Standardfejlen er mindst mulig 3) Normalfordelte estimater 4) Maximum likelihood estimater af funktioner af parametre er lig med funktionen af parametrene Eksempel: Estimatet af β parameteren i en logistisk regressionsanalyse er et maximum likelihood estimat OR e β Maximum likelihood estimatet af OR ˆ e β 10

11 Mange intuitivt naturlige estimater kan vises i virkeligheden at være maximum likelihood estimater: 1) Relative andele er maximum likelihood estimater af sandsynligheder. 2) Middelværdier og varianser er maximum likelihood estimater af parametrene i normalfordelingen (men ikke i andre fordelinger) 3) Estimater af parametre i logistiske og andre regressionsmodeller er som regel ml estimater. 11

12 Likelihood ratio testet Antag, at en bestemt hypotese kan formaliseres som et spørgsmål om at en bestemt parameter, er lig med 0. Model: L(α,θ) P(Data; α,θ) Hypotese Parametre Estimater Likelihood funktion H 0 : α0 (0,θ) ( 0,$θ ) L( 0,$θ ) Alternativ (α,θ) ( α~, ~ θ ) L( α~, ~ θ ) L( α~, ~ θ ) må være større end L( 0,$θ ) fordi ( α %, θ % ) ( α, θ ) ( α 0, θ 0 ) ( α, θ ) L ( α, θ ) > L ( α 0, θ 0 ) { } Forholdet mellem L( α~, ~ θ ) og L( 0,$θ ) angiver hvor stærk evidens der er for alternativet i forhold til H 0 LR L( 0,$θ ) / L( ) α~, ~ θ er udtryk for evidens mod H 0. Jo mindre LR er, jo mindre troværdig er H 0 12

13 Likelihood ratio -teststørrelsen I stedet for at bruge likelihood ratio størrelsen, LR, direkte anvendes Q -2 ln(lr) som teststørrelse fordi denne har nogle bekvemme fordelingsmæssige egenskaber. ( θˆ ) Q L 0, 2 ln 2 ln L α, θ 2 ln L 0, θ L ( α %, θ % ) ( (% % )) ( ˆ ) ( ) Q er asymptotisk χ 2 -fordelt med et antal frihedsgrader, der er lig med forskellen på antallet af ukendte parametre i H 0 og alternativet. 13

14 Sufficiens Forskellige svarmønstre med fire ud af 15 lærere, der jævnligt benytter smertestillende midler har den samme likelihood værdi: ja ja ja ja ja ja ja ja ja ja ja ja p 4 (1-p) 11 p m (1-p) n-m hvor m antal positive responser (med forbrug) n antal personer. Likelihood funktionen afhænger kun af m, men ikke af den rækkefølge de positive responser er forekommet i. 14

15 Binomial fordelingen Sandsynligheden for m positive responser ud af n mulige er lig med antallet af forskellige måder man kan få m positive responser ud af n mulige ganget med den fælles sandsynlighed for et responsmønster med m positive svar: n m P( M m) p (1 p) m n m Sandsynligheden for et bestemt responsmønster givet at der er præcis m positive svar er lig med P( X x,.., X x M m) 1 1 m n m p ( 1 p ) 1 n m p p n m n m ( 1 ) m n n Denne sandsynlighed afhænger ikke af p. Derfor er der ikke nogen information at hente fra sekvensen af responser, når det samlede antal positive responser er optalt. m er sufficient for p 15