Hypotese test. Repetition fra sidst Hypoteser Test af middelværdi Test af andel Test af varians Type 1 og type 2 fejl Signifikansniveau

Transkript

1 ypotese test Repetition fra sidst ypoteser Test af middelværdi Test af andel Test af varians Type 1 og type fejl Signifikansniveau

2 Konfidens intervaller Et konfidens interval er et interval, der estimerer værdien af en ukendt populations parameter. Kaldes også et interval estimat. Sammen med intervallet gives et mål for, hvor sikker man er på, at den sande populations parameter ligger i intervallet. Dette mål kaldes for konfidens niveauet. Et punkt estimat estimerer værdien af en ukendt populations parameter ved en enkelt værdi. For eksempel, gennemsnitsløn for A X=6. Et punkt estimat indeholder ikke meget information om den faktiske værdi af µ. Et interval estimat indeholder flere informationer, for eksempel: Vi er 95% sikre på, at intervallet [55,65] indeholde den sande middelværdi µ. Eller vi er 9% sikre på, at intervallet [599,61] indeholder den sande middelværdi µ.

3 Repetition fra sidst (1-α)1% konfidens interval for: Populations middelværdi µ, når X er normal fordelt (eller stikprøven er stor) og σ er kendt: σ x ± z n α Populations middelværdi µ, når X er normal fordelt og σ er ukendt: For populations andelen p: x ± t α s n pˆ ± z α pq ˆ ˆ n 3

4 (1-α)1% konfidens interval for: Populations variansen σ²: Beregning af stikprøve størrelse: ( n ) s 1, ( n 1 ) s χ χ α α 1 Mindste stikprøve størrelse, når µ estimeres : z α σ n = B hvor B er den maksimale grænse for, hvor langt estimatet må ligge fra den sande middelværdi (med konfidens niveau α). For populations andelen er den givet ved: z α pq n = B vis p ukendt bruges p =.5, da det giver den største stikprøve størrelse (og er altså et konservativt gæt). 4

5 ypoteser og hypotesetest. En hypotese er et udsagn om nogle karakteristika af en variabel eller mængde af variable, for eksempel: Er middelværdien af de A studerendes vægt lig med 7 kilo? I en hypotesetest testes værdier, der er opstillet i en hypotese, ved at sammenligne med værdier beregnet fra data. For eksempel kan gennemsnittet af en stikprøve af jeres vægte beregnes til 68 kilo. Er det (signifikant) forskellig fra 7? Det er forskellig fra 7, men kan vi derfra konkludere, at det ikke bare skyldes tilfældig variation, afhængig af eksempelvis stikprøvestørrelsen? En hypotesetest består af 5 elementer: antagelser, hypoteser, test størrelse, p- værdi og beslutning/konklusion. 5

6 Antagelser Type af data: Se på om det er diskrete eller kontinuerte data Populations fordeling: Se på hvilken fordeling populationen har. Stikprøve: vilken metode er brugt til at indsamle data. Skal være en simpel stikprøve i de test vi bruger. Stikprøve størrelse: vor stor er den stikprøve vi har til at beregne test størrelsen? 6

7 ypoteser Nul hypotesen Er sand indtil vi statistisk har bevist, at den er falsk. Den alternative hypotese : En påstand om en parameter. situationer, der ikke er dækket af. 1 : En påstand om alle Nul hypotesen er sand indtil det modsatte er bevist. : µ = 5 1 : µ 5 : µ 5 1 : µ < 5 : µ 5 1 : µ > 5 : 1 : : p.5 1 : p =.5 p.5 : p <.5 : p.5 1 p >.5 7

8 O.J. Simpson en analogi fra den virkelige verden O. J. Simpson er anklaget for mordet sin eks og dennes kæreste. Nul hypotesen: an er uskyldig Alternativ hypotese: an er skyldig For at O. J. skal kunne dømmes skyldig, skal anklagerne bevise, at han er skyldig beyond any reasonable doubt O. J. skal ikke bevise, at han er uskyldig. Vi kan forkaste nul hypotesen, hvis han findes skyldig, men hvis nul hypotesen ikke forkastes, har vi ikke bevist, at han er uskyldig blot, at der ikke er beviser nok til at finde ham skyldig. (Note: an blev erklæret ikke skyldig!!) 8

9 Test størrelsen Test størrelsen beregnes fra stikprøve data og bruges til at vurdere nul hypotesen. Den indeholder typisk et punkt estimat for den parameter, der indgår i nul hypotesen for eksempel gennemsnittet som punkt estimat for middelværdien. Selve fremgangsmåden for hypotese test er ens fra test til test, uanset data type, fordelings type og stikprøve størrelse. Men formlen for test størrelsen varierer afhængigt af disse ting. 9

10 P-værdi P-værdien af en test, er sandsynligheden for at observere en teststørrelse mindst så ekstrem som den beregnede/observerede værdi, når nul hypotesen er sand. Der gælder følgende for p-værdier: 1. Når p-værdien <.1 er resultatet meget signifikant.. Når p-værdien er mellem.1 og.5 er resultatet signifikant. 3. Nå p-værdien er mellem.5 og.1 er resultatet marginalt signifikant. 4. Når p-værdien er større end.1, er resultatet ikke signifikant. 1

11 P-værdi, fortsat Det vil altså sige når nul hypotesen er falsk, er p-værdien meget lille og når nul hypotesen er sand, vil p-værdien være stor (større end for eksempel.5). Vi accepterer/beviser aldrig, at nul hypotesen er sand. vis vi ikke kan forkaste nul hypotesen, siger vi, at der ikke er nok beviser til at forkaste den. vis vi forkaster nul hypotesen, kan vi konkludere, at der er beviser nok til at sige, at den alternative hypotese er sand. 11

12 Konklusion/beslutnings regel En beslutningsregel for en hypotese test, er en regel for under hvilke betingelse nul hypotesen kan forkastes. Betragt : µ=1. Beslutnings reglen kan her være at forkaste, når stikprøve gennemsnittet er udenfor intervallet [95, 15]. Typisk bruges dog p-værdien for testen. Så en beslutningsregel er for eksempel at forkaste, når p-værdien er mindre end.5. vor lille man vælger p-værdien, afhænger af hvilke konsekvenser beslutningen om at forkaste har. vis det er et spørgsmål om liv eller død, for eksempel i medicinske forsøg, vælges p-værdien meget lille. Men hvis det bare er at teste om et folketingsparti er større end et andet, kan man godt vælge p-værdien større. 1

13 Test af middelværdi Antagelse: Test af µ, X kvantitativ variabel og n>3. ypoteser: 1 : µ = µ : µ µ Stikprøve fordeling af X når er sand er approksimativ normal med middelværdi µ og standard afvigelse σ n µ x Teststørrelse: Z = X µ σ n 13

14 Beregning af p-værdi Når er sand, er fordelingen af Z approksimativt standard normal fordelt (dvs. normal fordelt med middelværdi og standard afvigelse 1). P-værdien er sandsynligheden for at observere en test størrelse mindst så ekstrem som den observerede, givet at er sand. I formler: p( Z > beregnet z værdi). I praksis: I tabellen for standard normalfordelingen aflæses sandsynligheden ud fra værdien af z-værdien og ganges med, da det er i begge sider af fordelingen. Dvs. skal ganges med, da vi både ser på værdier der er mindre end og større end middelværdien opgivet i. Meget nemmere at se ved hjælp af et eksempel: 14

15 Eksempel : µ = 3 1: µm 3 Stikprøve: n = 5 x = 31.5 σ = 5 P-værdi: p = p( z >,1) = p( z >,1) =.17 =.34 Lille p-værdi, så forkastes. Fordeling: Test størrelse: Z = =, µ =3 x=8.5 x=

16 Sandsynligheden for Z-værdien Z=-,1 Z=,1 16

17 Summe opgave : µ = 3 1: µm 3 : µ = 3 1: µm 3 Stikprøve: n = x = 31.5 σ = 5 Stikprøve: n = 1 x = 31.5 σ = 5 Beregn værdien af test størrelsen og p-værdien. Beregn værdien af test størrelsen og p-værdien 17

18 Relation til konfidens intervaller σ x± 1.96 = 31.5 ± 1.96 n 5 5 Middelværdi under 95% konfidens interval omkring observeret middelværdi µ = x =

19 vorfor = i nul hypotesen : µ µ : µ = µ 1 : µ > µ skrives i det følgende som : 1 : µ > µ Grunden til dette er, at man på denne måde "lader tvivlen komme til gode". Desuden er vi kun interesseret i, om µ er større ( eller mindre, hvis < ) end en givet værdi, ikke hvor meget den evt. er mindre. 19

20 øjresidet test Antagelse: Test af µ, X kvantitativ variabel og n>3. ypoteser: 1 : µ = µ : µ > µ Stikprøve fordeling af X når er sand er approksimativ normal med middelværdi µ og standard afvigelse σ n Teststørrelse: X µ Z = σ n P-værdien: p( Z > beregnet z værdi)

21 Eksempel højresidet test : µ = 3 1: µ > 3 Stikprøve: n = 5 x = 31.5 σ = 5 P-værdi: p = p( z >,1) =.17 Lille p-værdi, så forkastes Z=,1.17 Test størrelse: Fordeling: Z = =, µ =3 x=

22 Venstresidet test Antagelse: Test af µ, X kvantitativ variabel og n>3. ypoteser: 1 : µ = µ : µ < µ Stikprøve fordeling af X når er sand er approksimativ normal med middelværdi µ og standard afvigelse σ n Teststørrelse: Z = X µ σ n P-værdien: p( Z < beregnet z værdi)

23 Eksempel venstresidet test : µ = 3 1: µ < 3 Stikprøve: n = 5 x = 31.5 σ = 5 Test størrelse: P-værdi: p = p( z <,1) = 1.17 Stor p-værdi, så forkastes ikke Fordeling: Z=,1 Z = =, µ =3 x=31.5 3

24 Test af middelværdi for ukendt varians Antagelse: Test af µ, X normalfordelt variabel og σ² ukendt (estimeret ved s²). ypoteser: 1 : µ = µ : µ µ Teststørrelse t er t-fordelt med (n-1) frihedsgrader: X s µ t = n P-værdien: p( t > beregnet t værdi) kan ikke beregnes ved tabel opslag. Venstre og højre sidet test efter samme princip som før. 4

25 Eksempel : µ = 3 1: µm 3 Stikprøve: n = 5 x = 31.5 s = 5 Test størrelse: = =,1 5 5 Svært at slå op i tabel. Ligger mellem.5 og.1. P-værdi: p = p( t >,1) = p( t >,1) =. =.4 Lille p-værdi, så forkastes. Fordeling:.8 t x=8.5 µ =3 x=31.5 5

26 Test af en andel Antagelse: Test af populations andel p, når np>5 og n(1-p)>5. ypoteser: pˆ 1 : p = p : p p Stikprøve fordeling af når er sand er approksimativ normal med middelværdi og standard afvigelse p 1 p ) / n Teststørrelse: p Z = ) / n P-værdien: p( Z > beregnet z værdi) p pˆ (1 p p ( øjresidet og venstresidet test efter samme princip som før. 6

27 Test af variansen Antagelse: Test af populations variansen σ², X normal fordelt. ypoteser: 1 : σ : σ = σ σ Teststørrelse: ( n 1) s χ = σ ( χ fordelt med (n -1) frihedsgrader) P-værdi: p( Χ² > beregnet Χ² værdi) kan ikke beregnes ved tabel opslag. øjresidet og venstresidet test efter samme princip som før. 7

28 Signifikans niveau Signifikans niveauet α er et tal, således at forkastes, hvis p-værdien er mindre end α. Konklusion Er normalvis.5 eller.1. Vælges før analysen foretages. P-værdi 1 vis man tester på signifikans niveau.5, svarer det til en z-værdi på 1.96 i en to-sidet test (hvorfor?) og i en højresidet test (hvorfor?). P<.5 Forkast Accepter Normal ses dog på p-værdien i stedet, da de i de fleste tilfælde ikke er smart at have en standard procedure for om man forkaster eller ej. P>.5 Forkast ikke Accepter ikke 8

29 Eksempel - igen : µ = 3 1: µm 3 Stikprøve: n = 5 x = 31.5 s = 5 I stedet for p-værdi, vælges signifikans niveau α, for eksempel α=,5. Slå op i t-tabellen med 49 frihedsgrader under,5, da det er en -sidet test. Test størrelse: t = =,1 5 5 Svært at slå op i tabel. Ligger mellem.5 og.1. t-værdien er cirka lig med.1. Da,1 er større end,1, forkastes. vis t=-,1 skulle vi have sagt, da -,1 er mindre end -.1, forkastes. 9

30 Eksempel højresidet test : µ = 3 1: µ > 3 Stikprøve: n = 5 x = 31.5 σ = 5 Test størrelse: I stedet for p-værdi, vælges signifikans niveau α, for eksempel α=,5. Slå op i z-tabellen under,5 da det er en 1-sidet test. z-værdien er cirka lig med 1,645. Da,1 er større end 1.645, forkastes. Z = =,1 3

31 Test af varians - eksempel 31

32 Type 1 og type fejl Type 1 fejl: forkastes, når den er sand. Type fejl: forkastes ikke, selvom den er falsk. Signifikans niveauet α er sandsynligheden for at begå en type 1 fejl. Sandsynligheden for at begå en type fejl betegnes β Sandsynligheden for type 1 og type fejl er inverst relaterede, dvs. når den ene stiger, så falder den anden, så man kan ikke vælge begge to så lavt som muligt. Typisk vælger med at fastsætte sandsynligheden for type 1 fejl, så man ikke begår store fejl. For eksempel hvis er, at en eller anden medicin er skadelig, er det bedre at være sikker på, at man ikke forkaster selvom den er sand, end at være sikker på, at man ikke forkaster den, selvom den er falsk. I O.J. Simpson sagen er der nok sket en type fejl ;-) Beslutning Forkast Forkast ikke Sand tilstand af sand Type 1 fejl Korrekt beslutning falsk Korrekt beslutning Type fejl 3

33 vordan α og β afhænger af hinanden For forskellige n og et bestemt µ 33

34 Beregning af β (for en venstre sidet test) Se på følgende hypoteser: : µ 1 1 : µ < 1 Lad σ = 5, α = 5%, og n = 1. Vi vil beregne β når µ = µ 1 = 998. Se næste slide Figuren viser fordelingen af x-streg når µ = µ = 1, og når µ = µ 1 = 998. Bemærk at vil blive forkastet, når x- streg er mindre end den kritiske værdi givet ved (x-streg) crit = µ -z α σ/ n = / 1 = Omvendt, vil ikke blive forkastet, når x-steg er større end (x-streg) crit. 34

35 Beregning af β 35

36 Beregning af β Når µ = µ 1 = 998, så er β sandsynligheden for ikke at forkaste, så den er P{(x-streg > (x-streg) crit }. Når µ = µ 1, så vil x-streg følge en normal fordeling med middelværdi µ 1 og standard afvigelse = σ/ n, så: X 1 = P Z > crit µ β = P( Z > 1.18/.5) = P( Z σ / n =.91 >.36) Power af en test, er sandsynligheden for at den falske nul hypotese bliver opdaget af testen. Power af testen = 1 β= 1.91 =

37 Opgaver Kapitel 6: 41, 47, 53, 55, 59, 61, 63. Kapitel 7: 1, 3, 7, 17, 37,