Logistisk Regression. Repetition Fortolkning af odds Test i logistisk regression

Transkript

1 Logistisk Regression Repetition Fortolkning af odds Test i logistisk regression

2 Logisitks Regression: Repetition Y {0,} binær afhængig variabel X skala forklarende variabel π P( Y X x) Odds(Y X x) π /(-π ) Logit(Y X x) ln(odds(y X x)) ln(π /(-π )) Model: Logit(Y X x) β 0 β x

3 Omskrivninger β 0 β Odds( Y X x) e e β0 βx π β β x e 0 Odds-ratio, når X vokser med én: x Odds Y X x ) OR e Odds( Y X x) ( β

4 Multipel Logistisk Regression Analogt med multipel lineære regression er en multipel logistisk regressions model givet ved: Omskrivning: Som ved MLR kan vi vha dummy-variable indføre kategoriske forklarende variable k k k k x x x X x X Y Logit β β β L 0 ),, ( k k k k x x x x k k e e x X x X Y P β β β β β β L L 0 0 ),, (

5 Estimaternes fordeling Antag β ι er den sande værdi og b i er det tilsvarende estimat Hvis vi har indsamlet data nok, så gælder der b i ( β, SE( b ) ) ~ N i i Dvs b i er et unbiased estimat Standard fejlen SE(b i ) afhænger af mængden af data SE(b i ) bestemmes af SPSS

6 Konfidens-interval for logit-forskel Et (-α)00% konfidens-interval for β i : [ bi Zα SE( bi ) ; bi Zα SE( bi )] Et (-α)00% konfidens-interval for exp(β i ) : [ e ˆ β Z α ˆ ˆ ( ˆ SE( β ) β Zα SE β ) ; e ]

7 Hypotesetest Hypoteser H 0 : β i 0 H : β i 0 (uafhængighed) (afhængighed) ( ) Teststørrelse: Z b SE b ) (Wald teststør) i ( i Under H 0 gælder: Z ~ χ () Store værdier af Z er ufordelagtige for H 0

8 Eksempel: CHD (coronary heart decease) Data for n 463 personer Afhængig variabel: lider/lider ikke af CHD Y hvis CHD Y 0 hvis ej CHD Forklarende variable: X Alder X Cigaretter pr dag X 3, hvis CHD i familien X 3 0, hvis ej CHD i familien

9 Multipel Logistisk Regression Model: Logit( Y X x) β β x β x β x SPSS output: β SE(β) Ζ p-værdi α Estimerede model: e β 95% konf-int for exp(β) Logit ( Y X x) x x 0083x

10 Fortolkning Alle forklarende variable er signifikante! Estimerede sandsynlighed for CHD e e x 0083x 0975x3 P ( Y X x) x 0083x 0975x Alle forklarende variable medvirker til øget sandsynlighed for CHD 3

11 Odds-ratio og CHD i Familien Et Odds-ratio for CHD givet CHD i Familien OR Odds( Y Odds( Y X ) 0) x 0083x x 0083x X 3 e Bemærk at vi har ignoreret X og X på venstresiden, da OR et beregnes for fastholdte X og X e e Konklusion er at, hvis man har CHD i familien, så risikoen for CHD signifikant større

12 Ikke-paramertriske metoder Parametriske vs Ikke-parametriske Metoder Sign Test Run Test Wald-Wolfowitz Test Mann-Whitney U Test Wilcoxon Signed-rank Test

13 Parametriske metode Vi bygger en statistisk model af virkeligheden og udtrykker vores specifikke interesse i ukendte parametre som vi så kan lave inferens for / undersøgelser af Fx bin( n, p) xij α βi ε ij, N( μ, σ iid N(0, σ Undersøgelsen bygger på modelantagelser og er en præcis løsning, til et approksimeret problem ε ij ) )

14 Ikke-parametriske metoder Bygger ikke på modelantagelser og er derfor robuste overfor forskellige udgangs-situationer De mister til gengæld lidt i styrke (power) Undersøgelsen bygger ikke på antagelser om specielle fordelinger og er en approksimeret løsning til et præcist problem

15 The Sign Test Eksempel: Holdning til chef på en skala (-5) før (X) og efter (Y) Lad pp(x>y) Hvis holdningen er den samme de to år, så er p/ i i Før Før Efter Efter Forskl Forskl Sign Sign Sign hvis X>Y, - hvis X<Y Observationer hvor XY smides ud! Hypoteser: H0 : p 05 To-sidet test H : p 05 H H 0 : p 05 : p > 05 En-sidet test

16 The Sign Test Antag vi har n 0 7 observationer af X og Y I to tilfælde har vi XY disse udelades Tilbage er n5 observation Antag at X>Y i tilfælde ( er) og at vi ønsker at teste H 0 : p 05 (Husk at pp(x>y) ) H : p>05 Teststørrelse: T antal plusser Kritisk for H 0 er mange plusser Hvis p05 er T binomial fordelt B(5,05) P-værdiP(T )-P(X ) SPSS: Analyze Nonparametric Tests Related Samples

17 Run Test Er sekvensen PPPKKKPPPKKKPPKKKPPP opstået tilfældigt, dvs er hvert tegn uafhængigt af de andre? Et run er en sekvens af ens elementer, der kommer efter og før en anden slags (eller ingen) elementer PKPKPKPKPK 0 runs 0 elementer PPPPPKKKKK runs 0 elementer PPKKKPKPPP 5 runs 0 elementer n antal P er n antal K er nn n

18 Run Test: Eksempel Er sekvensen PPKKKPKPPP 5 runs 0 elementer opstået tilfældigt? s er tabel over P(antal runs r) Test for om ovenstående sekvens er tilfældig: n 7 n 4 #runs5 Et lille eller stort antal runs er kritisk for H 0 P(#runs 5) 03333

19 Run Test: Eksempel Hvor mange eller få runs skulle der være for at forkaste på niveau α005? Antag: n #P 7 n #K 4 Tabel s796: P(#runs ) 0006 P(#runs 3) 0033 P(#runs > 8) P(#runs ) P(#runs 9) Ved at forkaste hypotesen om en tilfældig sekvens hvis #runs eller #runs 9 Bemærk: Vi tester vi på niveau α005

20 Run Test: Når n og n er store! R Antal runs Når n og n bliver store vil R blive approksimativt normalfordelt under hypotesen om tilfældig sekvens Specifik: R ~ N(E(R),σ R ) (R nærmer sig en normalfordeling) nn nn (nn n n) E( R) σ R n n ( n n ) ( n n ) Vi normaliserer/standardiserer R så R E( R) Z ~ N(0,) σ R under hypotesen om tilfældig sekvens Test udføres som sædvanligt for N(0,) fordelingen

21 Run Test: Eksempel 3 (Ex 4-) n 7 n 6 R 5 E( R) σ R n n n n ()(7)(6) (7 6) n n (n n n n ) ( n n ) ( n n ) R E( R) z 347 σ 3604 R Hermed afviser vi H ()(7)(6)(()(7)(6) 7 (7 6) (7 6 ) p - value (-9997) 6)) 00006

22 Wald-Wolfowitz Test Dette test er videreudvikling af tankegangen bag run testet Vi tester for: H 0 : De to populationer har samme fordeling H : De to populationer har forskellige fordelinger Forudsætning: De to stikprøver er udvalgt tilfældigt og uafhængigt af de respektive populationer Ideen er at sortere de to stikprøver efter stigende størrelse Hver observation får en rank, dvs dvs observationens nummer i den sorterede rækkefølge

23 Wald-Wolfowitz Test: Eksempel Det daglige salg fra to sælgere Sælger A: 35, 44, 39, 50, 48, 9, 60, 75, 49, 66 Sælger B: 7, 3, 3, 4, 33,, 8, 6, 3 n 0 og n 9 Sorteret efter størrelse (fordtegn rank) : Sælger A: 9 8,35,39,44 3,48 4,49 5,50 6,60 7, 66 8,75 9 Sælger B: 3,6,7 3,8 4, 5,3 6,4 7,3 9,33 0 Alle salg sorteret efter størrelse og angivet ved sælger BBBBBBBABBAAAAAAAAA R antal runs 4 (Sælger B har de 7 mindste salg og sælger A de 9 største)

24 Wald-Wolfowitz Test: Eksempel Vi tester følgende hypotese H 0 : Sælger A og sælger B har samme salg H : De har forskellig salg n 0 n 9 R4 Lille antal runs kritisk for H 0 Stort antal runs taler for H 0 Fra tabel s 796 har vi P(R 4) 000 P-værdi Dvs vi forkaster H 0 Antallet af runs er for lille til, at vi tror på ens fordelinger

25 Mann-Whitney U Test Vi tester for: H 0 : De to populationer har samme fordeling H : De to populationer har forskellige fordelinger Testet er et alternativ til t-testet for uafhængige stikprøver og til Wald-Wolfowitz run test Styrken af Mann-Whitney testet er omtrent på højde med t-testets og bedre end Wald-Wolfowitz Testet baserer sig på ranks

26 Mann-Whitney U Test: Eksempel De to stikprøver tildeles ranks som de kom fra én stikprøve (fodtegn rank) : A: 0 65, 8 4, 4 0, 7 5, 5 3 n 5 R B: 8,, 3 9, 0 65, 3 n 5 R R Sum af ranks Teststørrelse: U n ( n ) 5(5 ) n n R Små og store værdier af U er kritiske for H 0 For små værdier af n og n findes fordeling af U s I eksemplet n n 5: P(U 5)0406 > P(U>5)05704

27 Mann-Whitney U Test: Eksempel Hvis n, n > 0 bruges normalfordelings-approksimation: Program Program Score Score Rank Rank Score Score Rank Rank Sum Sum Score Score Rank Rank Score Score Rank Rank Sum Sum nn n E n n ( U ) σu U n ( n ) n n R ( 5)( 5 ) ( 5)( 5) nn (5)(5) EU [ ( ] n n n ) 5 nn ( n n ) σ U ( 5)( 5)( 5 5 ) 4 09 U E[ U] z 33 σ U 4 09 Da Da teststørrelsen er er z -33, er er P-værdien 00005, og og H 0 0 afvises

28 Wilcoxon Signed-rank Test Bruges ved sammenligning af to populationer med parrede observationer Et alternativ til parret t-test eller sign-test H 0 : Medianen af differenser mellem pop og pop er forskellig H : Nix Antagelser: Fordeling af differenser er symmetrisk Differenserne er indbyrdes uafhængige Observationerne er mindst intervalskaleret D i X,i X,i differensen for i te par

29 Wilcoxon Signed-rank Test Beregning: Udregn alle differenser, D i Find ranks for D i (den absolutte værdi af D i ) Find sum af ranks af D i hvor D i >0 og sum af ranks af D i hvor D i <0 og I bogens notation: Σ() og Σ(-) Wilcoxon signed-rank teststørrelse: T min[ Σ(), Σ(-) ]

30 Wilcoxon Signed-rank Test: Eksempel Beslutningsregel: Find kritisk punkt for T i tabel s803 Hvis T er mindre end det fundne kritiske punkt forkastes H 0 Hypotese: H 0 : μ μ H : μ μ T min[5,0] 5 Kritisk punkt på signifikansniveau α00 er jvf s803 H 0 accepteres da 5> X X D D R Σ() Σ(-)

31 Wilcoxon Signed-rank Test a H 0 : μ μ H 0 : μ μ H 0 : μ μ H : μ μ H : μ > μ H : μ < μ Tosidet Ensidet Ensidet T min[σ(),σ(-)] T Σ(-) T Σ() Små værdier af T er kritiske for H 0 Large sample approksimation: Når n og n er store er T approksimativt normalfordelt

32 Hourly Rank Rank Rank Hourly Rank Rank Rank Messages Md 0 Dx -x ABS(D) ABS(D) (D>0) (D<0) Messages Md 0 Dx -x ABS(D) ABS(D) (D>0) (D<0) Sum: Sum: n( n ) (5)(5) E[ T] n( n )(n ) σ T 4 5(5 )(()(5) ) Teststørrelse når n og n er store: T E[ T] z σ T H kan ikke afvises 0