Program Konfidensinterval og hypotesetest, del 2 en enkelt normalfordelt stikprøve Helle Sørensen E-mail: helle@math.ku.dk I formiddag: Øvelse: effekt af diæter. Repetition fra sidst... Parrede og ikke-parrede stikprøver, uafhængighed Mere om test af hypoteser og konfidensintervaller Prædiktionsinterval I eftermiddag: Konfidens- og prædiktionsintervaller (opgave BK.5) Transformation af data (opgave BK.4) Hvad vi i øvrigt måtte mangle... StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 1 / 19 StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 2 / 19 Øvelse: effekt af diæter I SAS Data fra Table 8.3 (side 222): 20 par af personer. Parret så personerne i et par har samme køn, (cirka) samme vægt, samme motionsniveau, samme... De to personer i et par sat på hver sin diæt: diæt 1 og 2. Vægttab efter diæt registreret for alle 40 personer. Først analyse af diæt 1: Vi har at ȳ = 7.30, s = 4.74. Statistisk model, incl. fortolkning af parametre? Modelkontrol: er modellen rimelig? Estimater for parametre? Konfidensinterval for middelværdi? Hvilken hypotese er interessant? Test af hypotese? Konklusion? proc univariate data=diets; var diet1; qqplot diet1 / normal(mu=est sigma=est); proc ttest data=diets H0=0; var diet1; The TTEST Procedure Statistics Lower CL Upper CL Lower CL Upper CL Variable N Mean Mean Mean Std Dev Std Dev Std Dev Std Err diet1 20 5.0834 7.3 9.5166 3.6018 4.7362 6.9176 1.059 T-Tests Variable DF t Value Pr > t diet1 19 6.89 <.0001 StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 3 / 19 StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 4 / 19
Øvelse: sammenligning af diæterne Parrede og ikke-parrede stikprøver For at sammenligne diæterne kigger vi de 20 forskelle: d i = y i1 y i2 hvor y i1 og y i2 er målingerne for personerne i par i. Statistisk model: y 1,...,y 20 alle N(,σ)-fordelt. er den forventede forskel i vægttab mellem de to diæter Modelkontrol Estimater: ˆ = d = 0.55, ˆσ = s d = 4.20 Konfidensinterval: ( 1.41, 2.52). Test: T = 0.59, vurderes i t 19, p = 0.56. Konklusion? Husk at observationerne i diæteksemplet var parrede. Kunne vi have benyttet samme metode hvis personerne ikke var sat sammen i par på forhånd? (Ville vi få det same uanset hvordan vi parrede personerne?) Fælles information i observatiorne fra samme par: obs. fra samme par må formodes at ligne hinanden mere end obs. fra forskellige par. Den modsatte situation uparrede data: 40 personer tilfældigt allokeret til de to diæter (20 til hver) To stikprøver x 1,...,x 20 og y 1,...,y 20 Fordelinger: N( 1,σ 1 ) hhv. N( u,σ 2 ). Interesseret i 1 2. Det har vi ikke redskaberne til endnu på tirsdag! Der er ikke fælles information. StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 5 / 19 StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 6 / 19 Uafhængighed Husk at ȳ N(,σ/ n) hvis hvert y i N(,σ). Men dette gælder faktisk kun hvis y erne er uafhængige! Spredningen bliver anderledes hvis de ikke er uafhængige. Statistisk model: y 1,...,y n uafhængige og N(,σ)-fordelte. Løst sagt er observationer y 1 og y 2 uafhængige hvis der ikke er information om y 1 i y 2 (og omvendt) afhængige eller ikke uafhængige hvis der faktisk er information om y 1 i y 2 (eller omvendt) I det parrede set-up er y i1 og y i2 ikke uafhængige: hvis y i1 er stor er der sikkert tilbøjelighed til at y i2 også er stor. Dette har at gøre med designet af eksperimentet. Og analysen skal passe til designet! Test af hypoteser Hvad var det vi gjorde? Hypotese, H 0 : = 0. Teststørrelse, T = ȳ 0 s/ n t n 1 p-værdi, p = 2 P ( T T obs ) Hypotesen afvises hvis p < 0.05, ellers ikke. Husk fortolkningen af p-værdien: sandsynligheden for hvis hypotesen er sand at få data der passer mindst lige så dårligt med hypotesen som de data vi faktisk fik. En p-værdi 0.001 giver altså større evidens mod hypotesen end en p-værdi på 0.03, for eksempel. Til gengæld er der ikke ret stor forskel på 0.04 og 0.06... Angiv altid p-værdien samt en konklusion i ord! StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 7 / 19 StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 8 / 19
Type I og type II fejl Fire scenarier: H 0 sand H 0 falsk Afviser ikke OK type II Afviser type I OK Hvis vi bruger signifikansniveau α = 0.05, så laver vi type I fejl med 5% sandsynlighed! Vi kan ændre på sandsynligheden for type I og type II fejl ved at ændre på signifikansniveauet. Hvis vi gør signifikansniveauet α mindre, fx. 1%: Sværere at forkaste en hypotese færre type I fejl, men flere type II fejl 95%-konfidensinterval for : s ȳ ± t n 1,0.975 n Generel form for konfidensinterval også i andre modeller: Husk fortolkningen: estimat ± t-fraktil SE(estimat) Gentag eksperimentet mange gange og beregn for hvert nyt datasæt konfidensintervallet som ovenfor Nyt eksperiment nye data nyt KI Den sande, men ukendte, værdi i ligger i KI for 95% af eksperimenterne. StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 9 / 19 StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 10 / 19 Konfidensintervaller 95%, n=10, σ 0 2 =1 95%, n=40, σ 0 2 =1 95%, n=10, σ 0 2 =2 75%, n=10, σ 0 2 =1 95%-konfidensinterval for : s ȳ ± t n 1,0.975 n Hvad sker der med konfidensintervallet hvis n vokser (større stikprøve)? spredningen σ vokser? vi i stedet vil have et 75%-konfidensinterval? StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 11 / 19 StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 12 / 19
Konfidensintervaller og hypotesetest Husk igen på fortolkningen af KI, i termer af gentagelser af ekserimentet. Hvis den sande, men ukendte, værdi er 0 : Sandsynligheden for at få data hvor 0 KI er 0.95 Sandsynligheden for at få data hvor 0 / KI er 0.05 KI indeholder altså værdier af som ikke er i modstrid med data. Det lyder ret test-agtigt... Husk marsvinedata fra sidst: 95% KI: (31.8, 39.8) Test for = 41 gav en p-værdi på 0.013 Specielt gav konfidensintervallet og hypotesetestet samme konklusion: 41 lå ikke i 95%-konfidensintervallet så hvis 41 er den sande værdi, så er vores data ret usandsynlige. Tyder på at den sande værdi ikke er 41. Vi afviste H 0 : = 41 med en p-værdi mindre end 5%. Sådan er det altid: 0 ligger udenfor 95%-konfidensinterval hvis og kun hvis hypotesen H 0 : = 0 kan afvises på 5% signifikansniveau. Check diæteksemplet! StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 13 / 19 StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 14 / 19 Prædiktionsinterval Nikkelallergi: opgave BK.5 Et konfidensinterval udtaler sig om middelværdien, i fordelingen. Et prædiktionsinterval udtaler sig om en ny observation. Data fra opgave BK.5: 14.9,8.2,3.6,3.2,2.8,1.9 Hvis y N(,σ) ved vi at intervallet ± 1.96σ indeholder en ny observation med sandsynlighed 0.95. Hvordan skal dette interval modificeres når og σ skal estimeres fra data? ȳ ± t n 1,0.975 s 1 + 1 n Eksempel: Prædiktion af vægttab for tilfældig person på diæt 1? Er prædiktionsintervallet smallere eller bredere end konfidensintervallet? Hvorfor? Gennemsnit og spredning: ȳ = 5.77 og s = 4.99. Bestem 95% og 90% konfidensintervaller for det gennemsnitlige SI blandt nikkelallergikere. Hvad er fortolkningen? Antag at ikke-nikkelallergikere har gennemsnitligt stimulationsindeks på 0.7. Påviser data på at SI et kan bruges som mål for nikkelallergi? En nikkelallergiker har et SI på 12. Er det ualmindeligt? Kan vi checke antagelsen om normalfordelte data? StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 15 / 19 StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 16 / 19
A-vitaminindtag: opgave BK.4 A-vitaminindtag: opgave BK.4 Husk data fra opgave BK.4: dagligt indtag af A-vitamin for 1079 mænd. Kan data antages at være normalfordelt? Kan logaritmen til data antages at være normalfordelt? Hvorfor virker det at tage logaritmen i dette tilfælde? Hvad er sandsynligheden for at en tilfældig mand har et A-vitaminindtag mellem 2000 og 4000? Brug de estimerede parametre. Beregn konfidensinterval for middelindtag af A-vitamin Pointe: arbejd på en skala hvor normalfordelingsantagelsen er rimelig! Kan godt beregne sandsynlighederne i SAS: data ssh; z1 = (log(2000)-7.484993) / 0.437783; p1 = probnorm(z1); z2 = (log(4000)-7.484993) / 0.437783; p2 = probnorm(z2); p = p2-p1; proc print data=ssh; StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 17 / 19 StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 18 / 19 Resume Vi har lært at analysere en enkelt normalfordelt stikprøve: opstille statistisk model lave modelkontrol estimere parametrene lave konfidensitervaller incl. fortolkning test hypotese incl. fortolkning prædiktere StatBK (Uge 2, torsdag) Konfidensinterval og hypotesetest, del 2 19 / 19