Hypotesetest. Altså vores formodning eller påstand om tingens tilstand. Alternativ hypotese (hvis vores påstand er forkert) H a : 0

Transkript

1 Hypotesetest Hypotesetest generelt Ingredienserne i en hypotesetest: Statistisk model, f.eks. X 1,,X n uafhængige fra bestemt fordeling. Parameter med estimat. Nulhypotese, f.eks. at antager en bestemt værdi 0 H 0 : 0 Altså vores formodning eller påstand om tingens tilstand. Alternativ hypotese (hvis vores påstand er forkert) H a : 0

2 Teststørrelse (eng.: test statistic): en stokastisk variabel Z, som måler hvor dårligt H 0 passer med data (evt. regnet med fortegn). Normalt benytter vi Z 0 SE Kritisk område K: Værdier af Z som understøtter H a. Acceptområde A K: Værdier af Z som understøtter H 0. Signifikansniveau, defineret ved P H0 Z K. Ofte vælges K så 0. 01, eller Tabelopslag: Ofte slås op i N(0,1) eller t n 1, svarende til fordelingen for Z under H 0.

3 Testens konklusion: Hvis den observerede værdi af Z ligger i A vil vi acceptere H 0. Vi siger at testen ikke viser signifikans. Hvis den observerede værdi af Z ligger i K vil vi forkaste H 0. Vi siger at testen viser signifikans. Sprogbrug:Er signifikant forskellig fra 0 på niveau? Filosofi: H 0 er under anklage, men tvivl kommer H 0 til gode. H 0 dømmes kun hvis beviserne er stærke (signifikans).

4 Test for når 2 er kendt Eksempel Benzinforbrug for bil Benzinforbruget (i km/l) ved 20 uafhængige kørsler med bilen: x 1 x 2 x 3 x 19 x Gennemsnit: x Det vides at Bilforhandlerens påstand: bilen kører 19 km/liter. Vi opstiller hypotesen: H 0 : 19, hvor er bilens gennemsnitlige benzinforbrug i km/liter. Tror vi på bilforhandleren? Kan vi acceptere H 0? Lav en test.

5 Statistisk model: Antag at X 1, X 2,,X n er uafhængige og X i N, 2 for alle i 1,, n. Det antages kendt, at Parameter med estimat x. Nulhypotese: H 0 : 19. Bilforhandlerens påstand om tingens tilstand. Alternativ hypotese H a : 19 Det som gælder, hvis bilforhandleren tager fejl. Teststørrelse:medSE / n fås Z X 19 /SE med observeret værdi z / Kritisk område K: De værdier af z hvor z z crit.bådestore

6 positive og store negtive værdier er kritiske (tosidet test). Acceptområde A: De værdier af z hvor z z crit. Signifikansniveau, defineret ved P H0 Z z crit. Vi vælger og finder den tilsvarende værdi af z crit. Tabelopslag: Da fordelingen for Z under H 0 er N 0,1 slår vi op i normalfordelingstabellen. Med fås z crit Konklusion:Da z z crit må vi forkaste H 0. Vi konkluderer derfor at bilforhandleren ikke har ret.

7 Test for når 2 er ukendt Statistisk model: Antag at X 1, X 2,,X n er uafhængige og X i N, 2 for alle i 1,, n. Parameter med estimat x. Empirisk varians s 2. Nulhypotese: H 0 : 0 Alternative hypotese: H a : 0 Teststørrelse:medSE s/ n bruges og dermed t x 0 SE T X 0 S/ n. Kritisk område K: de værdier af t hvor t t crit. Acceptområde A: de værdier af t hvor t t crit.

8 Signifikansniveau, defineret ved P H0 T t crit. Tabelopslag: Da fordelingen for T under H 0 er t n 1 slår vi op i t-tabellen. t crit t /2 n 1 Testens konklusion: Hvis den observerede værdi af T ligger i A vil vi acceptere H 0. Hvis den observerede værdi af T ligger i K vil vi forkaste H 0

9 Eksempel (fortsat) Benzinforbrug for bil Benzinforbruget (i km/l) ved n 20 uafhængige kørsler. Model: X i N, 2 uafhængige. Nulhypotese og alternativ hypotese: H 0 : 19 mod H a : 19. Teststørrelse: T X 19 t S/ 20

10 Gennemsnit og varians: x og s Observeret teststørrelse: t /20 Kritisk område K: de værdier af t hvor t t crit. Acceptområde A: de værdier af t hvor t t crit. Signifikansniveau, P H0 T t crit. Vi vælger Tabelopslag: Da fordelingen for T under H 0 er t n 1 slår vi op i t-tabellen t crit t

11 Konklusion:Da t er mindre end t crit vil vi acceptere H 0. Vi kan altså ikke afvise forhandlerens påstand. Hvorfor når vi til den modsatte konklusion som før: 1. Vores kendte værdi viste sig at være for optimistisk. 2. Når 2 er ukendt har vi mindre information om end hvis 2 er kendt, hvilket gør signifikansen mindre.

12 Eksempel Karakterer for 11 studerende Model: X i N, 2 uafhængige. Vi ønsker at teste H 0 : 50 mod H a : 50. Vi har n 11 og Teststørrelse: x , s t x 0 s 2 /n /

13 Tabelopslag t Da t er mindre end t accepterer vi H 0. Vi kan ikke afvise, at den gennemsnitlige karakter er 50.

14 Test for variansen 2 Model: X 1,, X n uafhængige N, 2, hvor både og 2 er ukendte. Data: x 1,, x n, svarende til X 1,, X n. Parameter 2 med estimat 2 s 2 (empirisk varians). Nulhypotese: H 0 : Alternative hypotese: H a : Teststørrelse: U n S 2 H 0 2 n 1, som er en 2 -fordeling med n 1 frihedsgrader. Kritisk område K: de værdier af u hvor u /2 eller u 1 /2 Acceptområde A: de værdier af u hvor 1 /2 u /2 Signifikansniveau,

15 P H0 U 1 /2 P H0 U /2. Vi vælger Tabelopslag: Vi finder /2 og 1 /2 i tabel D.6 under n 1 frihedsgrader. Testens konklusion: Hvis den observerede værdi af U ligger i A vil vi acceptere H 0 Hvis den observerede værdi af U ligger i K vil vi forkaste H 0

16 Test for sandsynligheden p Antagelse: Antag at X er binomialfordelt: X b n,p. Estimat for p: Estimator for p: p x n. X X n. Den centrale grænseværdisætning giver X N np, np 1 p. Kræver np 1 p 5

17 For estimatoren gælder X n N p, p 1 p n Standard error for p er derfor Test for H 0 : p p 0 baseres på SE p 1 p /n. (approximativt). Z p p 0 SE H 0 N 0,1

18 Eksempel Internet shopping Gallupundersøgelse af 1025 tilfældige personer: 297 købte på internettet i sidste måned. Estimat for p: p Internetudbyder postulerer at 30% køber på internettet hver måned. Kan påstanden afvises? Test for H 0 : p Alternativ hypotese H a : p 0. 30, at internetudbyderen ikke har ret.

19 Standard error SE / Teststørrelse z Tabelopslag: Da fordelingen for Z under H 0 er approximativt N 0, 1 slår vi op i normalfordelingstabellen. Med 0.05 fås z crit Konklusion:Da z z crit må vi acceptere H 0. Vi konkluderer derfor at internetudbyderen har ret.

20 Test for raten Model: X antal hændelser i tidsrum t, medx Poisson t. Data: Antal observerede hændelser x svarende til X. Estimat for : x t Estimator for : X X t. Den centrale grænseværdisætning giver X N t, t. Kræver t 10

21 For estimatoren gælder X X t N, n Standard error for er derfor SE /t. Test for H 0 : 0 baseres på Z 0 SE H 0 N 0,1 (approximativt). Tabelopslag:Findz /2 i normalfordelingstabellen. Konklusion: Forkast H 0 (tosidet test) hvis z z /2, ellers accepteres H a : 0

22 Hypotesetest, mere teori Styrke for en test Der er fire muligheder for en test med niveau : H 0 accepteres H 0 forkastes H 0 er sand OK Fejl af type I H 0 er falsk Fejl af type II OK Fejl af type I, at forkaste en sand nulhypotese. Sandsynlighed. Fejl af type II betyder at acceptere en falsk nulhypotese. Sandsynligheden kaldes for. 1 kaldes også for testens styrke, som afhænger af fordelingen for Z under H a.

23 Både og bør være små, men tvinges ned går op, og omvendt. Kompromis: 1. vælges til en fast, lille værdi, f.eks eller For givet vælges den test som er stærkest (har mindst ). z- ogt-test diskuteret ovenfor er optimale, så de har den størst mulige styrke blandt alle mulige test.

24 Signifikansniveau og p-værdi Klassisk test: Er resultatet signifikant på niveau? Vi ønsker et ja/nej svar. skal vælges på forhånd. 1. Fordel: Vi får et klart svar, som kan bruges til f.eks. at tage en beslutning. 2. Ulempe: Svaret afhænger af valget af. Pragmatisk test: Vi ønsker svar på spørgsmålet: hvor stærk er signifikansen? 1. Fordel: Hvis signifikansen er meget stærk, eller meget svag, får vi stadig et klart svar. 2. Ulempe: Der er en grå zone, hvor svaret ikke er klart, hvilket giver mulighed for misbrug.

25 Lad model, test, nulhypotese H 0 og alternativ hypotese H a være givet. Vi definerer p-værdien, eller det observerede signifikansniveau som den værdi af signifikansniveauet hvor resultatet er lige på grænsen til at være signifikant. For 2 kendt findes p ved at løse følgende ligning (z observeret værdi af teststørrelse): z z p/2 Fremgangsmåden er tilsvarende hvis 2 er ukendt, idet z erstattes af t, ogz p/2 af t p/2 n 1 osv. Bemærk: Bogens tabeller giver kun en grov vurdering af p. Nøjagtig udregning kræver computer.

26 Vurdering af p-værdi: p-værdi Signifikans af H svag 0.05 ret stærk stærk 0.01 meget stærk Bemærk: Ønskes et klassisk test kan p også benyttes: Hvis p accepteres H 0 på niveau. Hvis p forkastes H 0 på niveau.

27 Eksempel (fortsat) Benzinforbrug for bil Benzinforbruget (i km/l) ved 20 uafhængige kørsler med samme bil med X i N,0.4. Hypotese: H 0 : 19 mod H a : 19. Teststørrelse z p-værdi findes ved at løse / Løsning z p/2

28 p Konklusion: H 0 er ret signifikant, og H 0 bør forkastes. Bilforhandleren har ikke ret.

29 Eksempel (fortsat) Karakterer for 11 studerende Model: X i N, 2. Hypotese: Teststørrelse: H 0 : 50 mod H a : 50. t x 0 s 2 /n Tabelopslag t Da t er mindre end t er p Faktisk er t mindre end t så p Udregning med computer giver p

30 H 0 er altså ikke signifikant, og bør derfor accepteres. Som før: H 0 kan ikke forkastes på niveau 5%. Vi kan ikke afvise, at den gennemsnitlige karakter er 50.

31 Test og konfidensintervaller Model: X i N, 2 for i 1,,n, indbyrdes uafhængige. Givne data: x 1,, x n. Test for hypotesen: H 0 : 0 mod H a : 0 med signifikansniveau. Konfidensinterval C. I. med konfidensgrad 1. Følgende to ting er ækvivalente 1. H 0 : 0 accepteres ved en test på niveau 2. 0 tilhører C. I. Begge betingelser er nemlig ækvivalente med x 0 z SE /2 (hvis SE / n med kendt), eller med

32 (hvis SE s/ n ). x 0 SE t /2 n 1

33 Overvejelser om den alternative hypotese Den fornuftige bilkøber Analyse: I benzineksemplet ovenfor forkaster vi H 0 hvis enten 1. z z crit, det vil sige når bilen kører kortere per liter end 19 km/liter. 2. z z crit, det vil sige når bilen kører længere per liter end 19 km/liter. Under2.erbilenbedre end påstået, så køberen snyder sig selv. Nulhypotesen bør stadig være: H 0 : 19 Bilforhandlerens påstand om tingens tilstand. Alternativ hypotese skiftes nu ud med et ensidet alternativ: H a : 19

34 Hvis bilen er dårligere end bilforhandleren påstår.

35 Teststørrelse: Vi bruger stadig kendt og Z X SE 19 Den observerede værdi af Z er stadig z /20 Kritisk område K:Nuvælgervideværdierafz hvor z z crit. Acceptområde A: De værdier af z hvor z z crit. Signifikansniveau, defineret ved P H0 Z z crit. Vi holder fast ved

36 Tabelopslag: Da fordelingen for Z under H 0 stadig er N 0,1 slår vi op i tabellen. Med fås z crit Konklusion:Daz er mindre end z crit må vi forkaste H 0. Vi konkluderer derfor at bilforhandleren ikke har ret, og at bilen kører kortere på literen end han påstår.

37 Den kyniske bilfabrik Fra intern rapport på bilfabrikken: Nulhypotesen er stadig: H 0 : 19 Bilfabrikkens påstand om tingens tilstand. Alternativ hypotese skiftes nu ud med det andet ensidede alternativ: H a : 19 Hvis bilen er bedre end fabrikken påstår. Teststørrelse: Vi bruger stadig Z X 19 /SE med observeret værdi z Kritisk område K:Nuvælgervideværdierafz hvor z z crit. Acceptområde A: De værdier af z hvor z z crit. Signifikansniveau, defineret ved

38 P H0 Z z crit. Vi holder fast ved Tabelopslag: Z N 0, 1 under H 0, så fra tabellen med 0.05 fås z crit Konklusion:Daz er mindre end z crit må vi acceptere H 0. Altså holder bilfabrikkens påstand om benzinøkonomien! Begrundelse: Bilfabrikken vil undgå, at bilen er bedre end påstået, så man ikke sælger den for billigt! En moderne bilfabrik tænker naturligvis ikke sådan, men eksemplet illustrerer mulighederne for misbrug.

39 Énsidede test Lad nulhypotesen være H 0 : 0 Eksemplet ovenfor illustrerer, at der er mulighed for tre forskellige alternative hypoteser. Den tosidede test er med for overskuelighedens skyld. 1. Tosidet test svarer til tosidet alternativ: H a : 0 2. Énsidet test med alternativer til højre: H a : 0 3. Énsidet test med alternativer til venstre: H a : 0.

40 Teststørrelse:medSE / n bruges i alle tre tilfælde Z X 0 SE Kritisk område K: 1. For H a : de værdier af z hvor z z crit. 2. For H a : de værdier af z hvor z z crit. 3. For H a : de værdier af z hvor z z crit. Acceptområde A: 1. For H a : de værdier af z hvor z z crit. 2. For H a : de værdier af z hvor z z crit. 3. For H a : de værdier af z hvor z z crit.

41 Signifikansniveau, defineret ved 1. For H a : P H0 Z z crit. 2. For H a : P H0 Z z crit. 3. For H a : P H0 Z z crit. Tabelopslag:DaZ N 0, 1 under H 0, slår vi op i tabel A For H a : 2. For H a : 3. For H a : z crit z /2 z crit z

42 z crit z Konklusion: Hvis den observerede værdi af Z ligger i A vil vi acceptere H 0. Hvis den observerede værdi af Z ligger i K vil vi forkaste H 0

43 Generelle statistiske test Givet: Data x (vektor) svarende til vektor X af stokastiske variable fra en passende model. Nulhypotese H 0 skal betyde at modellen er korrekt. Find passende teststørrelse t x, som måler afvigelser fra H 0 generelt: jo større værdi af t x, jo mindre tror vi på H 0. Bemærk: Den alternative hypotese H a angives ikke specifikt, men indeholder alt hvad der kan være galt med H 0, f.eks. at fordelingen ikke er normal, men stammer fra en anden fordeling.

44 Find fordelingsfunktionen for t X under H 0 : F x P H0 t X x Udregn p-værdi: p 1 F t x. p måler sandsynligheden for at få en endnu mere ekstrem værdi af t X end den observerede værdi t x. Forkast H 0 hvis p er lille (f.eks. p 0. 05) Accepter H 0 hvis p er stor (f.eks. p 0.05).

45 Fortolkning: Hvis H 0 er sand forventer vi at få en sædvanlig værdi af t x. Vi måler hvor usædvanlig t x er ved at udregne p-værdien. En sædvanlig p-værdi er en værdi, som er passende stor. Hvis p er lille, må én af to følgende ting gælde: 1. En hændelse med lille sandsynlighed er hændt, eller 2. H 0 er falsk. Vi hælder derfor til den sidste forklaring (at H 0 er falsk), snarere end at en sjælden hændelse er sket. 2 -test

46 Eksempel: Betragt et histogram med k klasser, og lad X 1,,X k være antallet af data i hver af de k klasser ved en stikprøve på n. Lad H 0 være hypotesen, at data kommer fra en bestemt fordeling, og lad E 1,, E k være de tilsvarende forventede værdier, dvs. E j np j, hvor p j er sandsynligheden for den j te klasse, udregnet under H 0. Som teststørrelse bruges 2 -størrelsen: k t X j 1 X j E j 2 E j. Det vides at fordelingen for t X under H 0 kan approximeres ved den såkaldte 2 -fordeling med k 1 frihedsgrader (tabel). Kravet er at n skal være stor (bygger på CLT). En test med signifikansniveau 5% (approximativt) fås hvis vi

47 forkaster H 0 når t x 0.05 k 1.