Dansk. Oversigt. 1 Fordelingen for gennemsnittet t-fordelingen. 2 Konfidensintervallet for µ Eksempel. 3 Den statistiske sprogbrug og formelle ramme

Transkript

1 Itroduktio til Statistik enote 3: Kofidesitervaller for é gruppe/stikprøve Egelsk Forelæsig 4: Kofidesiterval for middelværdi (og spredig) Peder Bacher DTU Compute, Dyamiske Systemer Bygig 303B, Rum 009 Damarks Tekiske Uiversitet 2800 Lygby Damark Grudlæggede kocepter Populatio og tilfældig stikprøve Estimatio (f.eks. ˆµ er estimat af µ) Sigifikasiveau α Kofidesitervaller (fager rigtige prm. 1 α af gagee) Stikprøvefordeliger (stikprøvegeemsit (t) og empirisk varias (χ 2 )) Cetrale græseværdisætig Specifikke metoder, é gruppe/stikprøve: Kofidesitervaller for middelværdi (t-fordelig) og varias (χ 2 fordelig) Forsøgsplalægig: bereg stikprøvestørrelse for de øskede præcisio Efterår 2016 DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60 enote 3: Oe sample cofidece itervals Dask Oversigt Geeral cocepts Populatio ad a radom sample Estimatio (e.g. ˆµ is estimate of µ) Sigificace level α Cofidece itervals (Catches true value 1 α times) Samplig distributios (sample mea (t) ad sample vaiace (χ 2 )) Cetral Limit Theorem Specific methods, oe sample: Cofidece itervals for the mea (t-distributio) ad variace (χ 2 distributio) Desig of experimets: calculatig the sample size for wated precisio 1 t-fordelige 2 Kofidesitervallet for µ 3 De statistiske sprogbrug og formelle ramme 4 Ikke-ormale data, Cetral Græseværdisætig (CLT) 5 Kofidesiterval for varias og spredig 6 Plalægig af studie med krav til præcisio DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

2 Theorem 3.2: Fordelig for geemsit af ormalfordeliger Middelværdi og varias følger af regeregler (Stikprøve-) fordelige/ The (samplig) distributio for X Assume that X 1,...,X are idepedet ad idetically ormally distributed radom variables, X i N(µ,σ 2 ) ad i = 1,...,, the: X = 1 i=1 X i N (µ, σ 2 ) Middelværdie af X Variase for X E( X) = E ( 1 i=1 X i ) = 1 i ) = i=1e(x 1 i=1 µ = 1 µ = µ Var( X) = 1 2 Var(X i ) = 1 i=1 2 σ 2 = 1 i=1 2 σ 2 = σ 2 DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60 Svar via socrative.com eller Socrative app. Room: PBAC Two ormal distributios Simuler i R: Middelværdi og spredig af stikprøvegeemsit ## Simuler stikprøvegeemsit af ormalfordelt stokastisk variabel ## Middelværdie mu <- -5 ## Stadard afvigelse sigma <- 2 ## Stikprøvestørrelse <- 50 ## Simuler ormalfordelt X_i x <- rorm(=, mea=mu, sd=sigma) ## Se realiserigere x ## Empirisk tæthed hist(x, prob=true, col='blue') De ee pdf hører til X i og de ade til X. Hvad ka kokluderes? A: De sorte hører til X i og de røde til X B: De sorte hører til X og de røde til X i C: De ka ikke afgøres D: Ved ikke µ ## Bereg geemsittet (stikprøve middelværdie, i.e. sample mea) mea(x) ## Bereg stikprøvevariase (sample variace) var(x) ## Getag de simulerede stikprøvetagig mage gage mat <- replicate(100, rorm(=, mea=mu, sd=sigma)) ## Bereg geemsittet for hver af dem xbar <- apply(mat, 2, mea) ## Nu har vi mage realiseriger af stikprøvegeemsittet xbar ## Se deres fordelig hist(xbar, prob=true, col='blue') ## Deres geemsit mea(xbar) ## og deres variaser var(xbar) DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

3 Pdf for geemsittet X år X i N(µ,σ 2 ) (Trasformatio til stadard ormalfordelig) Pdf for fejle vi begår X µ år X i N(µ,σ 2 ) (Trasformatio til stadard ormalfordelig) X N(µ, σ 2 ) X µ N(0, σ 2 ) σ X = σ σ ( X µ) = σ µ 0 µ DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60 X µ Pdf for σ/ år X i N(µ,σ 2 ) (Trasformatio til stadard ormalfordelig) Svar via socrative.com eller Socrative app. Room: PBAC X µ σ/ N(0,12 ) Hvilket af følgede er korrekt hvis X i N(µ,σ 2 )? A: X i σ = Z N(0,12 ) B: X i σ 2 = Z N(0,1 2 ) C: X i µ σ = Z N(0,1 2 ) D: X i µ σ 2 = Z N(0,1 2 ) σ ( ) X µ = 1 σ/ E: Ved ikke 0 µ Stadardiseret til stadard ormalfordelig (oteres Z = X µ σ/ N(0,12 )) DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

4 Stadardiseret versio af de samme tig, Corollary 3.3: Nu ka et 95% kofidesiterval udledes Fordelige for de stadardiserede fejl vi begår: Assume that X 1,...,X are idepedet ad idetically ormally distributed radom variables, X i N ( µ,σ 2) where i = 1,...,, the: Z = X µ = X µ σ ( X µ) σ/ N(0,12 ) That is, the stadardized sample mea Z follows a stadard ormal distributio. 95% kofidesiterval for µ: P(z < Z < z ) = 0.95 ( P z < X µ ) σ/ < z σ σ ) P (z < X µ < z ( σ σ ) P X + z < µ < X + z = 0.95 = 0.95 = 0.95 DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60 Simulerig af beregig af 95% kofidesiterval Kofidesitervallet er omkrig x og fager her µ Pdf for Xi Pdf for X Ny simulerig af beregig af 95% kofidesiterval Kofidesitervallet er omkrig x og fager her µ Pdf for Xi Pdf for X µ µ x + z0.025 σ x x x + z0.975 σ x + z0.025 σ x x x + z0.975 σ DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

5 µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ Beregig af 99% kofidesiterval 20 getagelser af beregig at 95% kofidesiterval 99% kofidesitervallet er breddere ed 95% kofidesitervallet (det skal fage µ oftere) Pdf for Xi Pdf for X MISS µ x + z0.005 σ x x x + z0.995 σ DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / getagelser af beregig at 95% kofidesiterval Praktisk problem!! MISS MISS MISS Populatiosspredige σ idgår i formle og de keder vi ikke!! Oplagt løsig: Aved estimatet S af σ i stedet for! MEN MEN: Så bryder de give teori faktisk samme!! MISS HELDIGVIS: Der fides e heldigvis udvidet teori, der ka klare det!! DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

6 t-fordelige Theorem 3.4: More applicable extesio of the same stuff: (kopi af Theorem 2.49) t-fordelige t-fordelige med 9 frihedsgrader ( = 10) og stadardormalfordelige t-fordelige tager højde for usikkerhede i at bruge s: Assume that X 1,...,X are idepedet ad idetically ormally distributed radom variables, where X i N ( µ,σ 2) ad i = 1,...,, the: T = X µ S/ t where t is the t-distributio with 1 degrees of freedom Red: t Black: stadard ormal z0.025 = 1.96 z0.975 = 1.96 t0.025 = 2.26 t0.975 = DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60 t-fordelige t-fordelige med 29 frihedsgrader ( = 30) og stadardormalfordelige Kofidesitervallet for µ Metodeboks 3.8: Oe-sample kofidesiterval for µ Red: t Black: stadard ormal z0.025 = 1.96 z0.975 = 1.96 t0.025 = 2.05 t0.975 = 2.05 Brug de rigtige t-fordelig til at lave kofidesitervallet: For a sample x 1,...,x the 100(1 α)% cofidece iterval is give by: s x ± t 1 α/2 where t 1 α/2 is the 100(1 α)% quatile from the t-distributio with 1 degrees of freedom. Mest almideligt med α = 0.05: The most commoly used is the 95%-cofidece iterval: s x ± t DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

7 Kofidesitervallet for µ Kofidesitervallet for µ - Højde af 10 studerede Højde-eksempel, 95% kofidesiterval (CI) Stikprøve, = 10: ## 97.5% fraktile af t-fordelige for =10: qt(p=0.975, df=9) ## [1] 2.3 Sample mea og stadard deviatio: x = 178 s = Estimer populatio mea og stadard deviatio: ˆµ = 178 ˆσ = Idsat i formle giver det 178 ± ± 8.74 = [169.3; 186.7] DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60 Kofidesitervallet for µ Kofidesitervallet for µ Højde-eksempel, 99% Kofidesiterval (CI) Der fides e R-fuktio, der ka gøre det hele (med mere): ## 99.5% fraktile af t-fordelige for =10: qt(p=0.995, df=9) ## [1] 3.2 ## Agiv data x <- c(168,161,167,179,184,166,198,187,191,179) ## Bereg 99% kofidesiterval t.test(x, cof.level=0.99) Idsat i formle giver det 178 ± ± = [165.4; 190.6] ## ## Oe Sample t-test ## ## data: x ## t = 50, df = 9, p-value = 5e-12 ## alterative hypothesis: true mea is ot equal to 0 ## 99 percet cofidece iterval: ## ## sample estimates: ## mea of x ## 178 DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

8 Kofidesitervallet for µ Kofidesitervallet for µ Svar via socrative.com eller Socrative app. Room: PBAC PAUSE Bør Peder bruge e mikrofo da det ville give et mere behageligt lydiveau? A: Ja, for de da! Ha skriger, det er ubehageligt B: Nej, det går fit. Me ha må gere tale lavere C: Nej, det går fit. Me ha må gere tale højere D: Nej, det er faktisk meget passede DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60 Kofidesitervallet for µ Svar via socrative.com eller Socrative app. Room: PBAC De statistiske sprogbrug og formelle ramme De formelle ramme for statistisk iferes Fra enote, Chapter 1: Bør Peder klæde sig mere ydeligt? A: Ja, for de da! Det er grimt det tøj B: Nej, ha ser faktisk rigtig checket ud C: Nej, det ka være lige meget med tøjet, ha skal barbere sig og rede sit hår først D: Ved ikke, jeg har simpelthe været for optaget af statistikke til at lægge mærke til has påklædig A observatioal uit is the sigle etity/level about which iformatio is sought (e.g. a perso) (Observatiosehed) The statistical populatio cosists of all possible measuremets o each observatioal uit (Populatio) The sample from a statistical populatio is the actual set of data collected. (Stikprøve) Sprogbrug og kocepter: µ og σ er parametre, som beskriver populatioe x er estimatet for µ (kokret udfald) X er estimatore for µ (u set som stokastisk variabel) Begrebet statistic(s) er e fællesbetegelse for begge DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

9 De statistiske sprogbrug og formelle ramme De formelle ramme for statistisk iferes - De statistiske sprogbrug og formelle ramme Statistisk iferes = Learig from data Fra enote, Chapter 1, højdeeksempel Vi måler højde for 10 tilfældige persoer i Damark Learig from data is learig about parameters of distributios that describe populatios Stikprøve/The sample: De 10 kokrete talværdier: x 1,...,x 10 Populatioe: Højdere for alle meesker i Damark. Observatiosehede: E perso Vigtigt i de forbidelse: Stikprøve skal på meigsfuld vis være repræsetativ for e eller ade veldefieret populatio Hvorda sikrer ma det: F.eks. ved at sikre at stikprøve er fuldstædig tilfældig udtaget DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60 De statistiske sprogbrug og formelle ramme Tilfældig stikprøveudtagig De statistiske sprogbrug og formelle ramme Svar via socrative.com eller Socrative app. Room: PBAC Defiitio 3.11: A radom sample from a (ifiite) populatio: A set of observatios X 1,X 2,...,X costitutes a radom sample of size from the ifiite populatio f (x) if: 1 Each X i is a radom variable whose distributio is give by f (x) 2 These radom variables are idepedet Hvad betyder det???? 1 Alle observatioer skal komme fra de samme populatio 2 De må IKKE dele iformatio med hiade (f.eks. hvis ma havde udtaget hele familier i stedet for ekeltidivider) Geemsit x = 14.4, stikprøvespredige s = 6, atal obs. er = 9 Formle for kofidesitervallet er x ± t s t-fordelige med 8 frihedsgrader t0.025 = 2.31 t0.975 = x Hvilket af itervallere er det rigtige 95% kofidesiterval? A: Turkise B: Sorte C: Grøe D: Blå E: Røde DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

10 Ikke-ormale data, Cetral Græseværdisætig (CLT) Theorem 3.13: The Cetral Limit Theorem Ikke-ormale data, Cetral Græseværdisætig (CLT) CLT i actio - geemsit af Uiform fordelte observatioer Geemsittet af e tilfældig stikprøve følger altid e ormalfordelig hvis er stor ok: Let X be the mea of a radom sample of size take from a populatio with mea µ ad variace σ 2, the Z = X µ σ/ is a radom variable whose distributio fuctio approaches that of the stadard ormal distributio, N(0,1 2 ), as Dvs., hvis er stor ok, ka vi (tilærmelsesvist) atage: X µ σ/ N(0,12 ) og X µ S/ t ved t-fordelige med 1 frihedsgrader ## Stikprøvestørrelse =1 ## Atal getagelser k=1000 ## Simuler u=matrix(ruif(k*),col=) ## Se empirisk tæthed hist(apply(u,1,mea), col='blue', mai='=1', xlab='meas', class=15, prob=true, xlim=c(0,1)) Desity = Meas DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60 Ikke-ormale data, Cetral Græseværdisætig (CLT) CLT i actio - geemsit af Uiform fordelte observatioer Ikke-ormale data, Cetral Græseværdisætig (CLT) CLT i actio - geemsit af Uiform fordelte observatioer ## Stikprøvestørrelse =2 ## Atal getagelser k=1000 ## Simuler u=matrix(ruif(k*),col=) ## Se empirisk tæthed hist(apply(u,1,mea), col='blue', mai='=2', xlab='meas', class=15, prob=true, xlim=c(0,1)) ## Stikprøvestørrelse =6 ## Atal getagelser k=1000 ## Simuler u=matrix(ruif(k*),col=) ## Se empirisk tæthed hist(apply(u,1,mea), col='blue', mai='=6', xlab='meas', class=15, prob=true, xlim=c(0,1)) Desity =2 Desity = Meas Meas DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

11 Ikke-ormale data, Cetral Græseværdisætig (CLT) CLT i actio - geemsit af Uiform fordelte observatioer Ikke-ormale data, Cetral Græseværdisætig (CLT) Kosekves af CLT: ## Stikprøvestørrelse =30 ## Atal getagelser k=1000 ## Simuler u=matrix(ruif(k*),col=) ## Se empirisk tæthed hist(apply(u,1,mea), col='blue', mai='=30', xlab='meas', class=15, prob=true, xlim=c(0,1)) Desity =30 Vores CI-metode virker OGSÅ for ikke-ormale data: Vi ka bruge kofides-iterval baseret på t-fordelige i stort set alle situatioer, blot er stor ok Hvad er stor ok? Faktisk svært at svare præcist på, MEN: Tommelfigerregel: 30 Selv for midre ka formle være (æste) gyldig for ikke-ormale data Meas DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60 Kofidesiterval for varias og spredig Kofidesiterval for varias og spredig Stikprøvefordelige for varias-estimatet (Theorem 2.56) Produktio af tabletter Vi producerer pulverbladig og tabletter deraf, så kocetratioe af det aktive stof i tablettere skal være 1 mg/g med de midst mulige spredig. E tilfældig stikprøve udtages, hvor vi måler mægde af aktivt stof. Variasestimater opfører sig som e χ 2 -fordelig: Let the: S 2 = 1 1 χ 2 = i=1 (X i X) 2 ( 1)S2 σ 2 is a radom variable followig the χ 2 -distributio with v = 1 degrees of freedom. DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

12 Kofidesiterval for varias og spredig χ 2 -fordelige med ν = 9 frihedsgrader Kofidesiterval for varias og spredig Metode 3.18: Kofidesiterval for stikprøvevarias og stikprøvespredig ## Plot chi^2 tæthedsfuktio med 9 frihedsgrader ## E sekves af x værdier x <- seq(0, 30, by = 0.1) ## Plot chi^2 tæthedsfuktio plot(x, dchisq(x, df = 9), type = 'l', ylab="f(x)") f(x) x Variase: A 100(1 α)% cofidece iterval for the variace σ 2 is: [ ] ( 1)s 2 ( 1)s 2 χ1 α/2 2 ; χα/2 2 where the quatiles come from a χ 2 -distributio with ν = 1 degrees of freedom. Spredige: A 100(1 α)% cofidece iterval for the sample stadard deviatio ˆσ is: [ ] ( 1)s 2 ( 1)s 2 ; χ 2 1 α/2 χ 2 α/2 DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60 Kofidesiterval for varias og spredig Kofidesiterval for varias og spredig Data: E tilfældig stikprøve med = 20 tabletter er udtaget og fra dee får ma: ˆµ = x = 1.01, ˆσ 2 = s 2 = %-kofidesiterval for variase - vi skal bruge χ 2 -fraktilere: χ = , χ = ## 2.5% og 97.5% fraktilere i chi^2 fordelige for =20 qchisq(c(0.025, 0.975), df = 19) Så kofidesitervallet for variase σ 2 bliver: [ ; ] = [ ; ] Og kofidesitervallet for spredige σ bliver: [ ; ] = [0.053; 0.102] ## [1] DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

13 Højdeeksempel Kofidesiterval for varias og spredig Kofidesiterval for varias og spredig - Højde af 10 studerede - recap: Vi skal bruge χ 2 -fraktilere med ν = 9 frihedsgrader: χ = , χ = Stikprøve, = 10: ## 2.5% og 97.5% fraktilere i chi^2 fordelige for =10 qchisq(c(0.025, 0.975), df = 9) ## [1] Sample mea og stadard deviatio: x = 178 s = Estimer populatio mea og stadard deviatio: ˆµ = 178 ˆσ = Så kofidesitervallet for højdespredige σ bliver: [ ] ; 2 = [8.4; 22.3] NYT:Kofidesiterval, µ: 178 ± [169.3; 186.7] NYT:Kofidesiterval, σ: [8.4; 22.3] DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60 Kofidesiterval for varias og spredig Svar via socrative.com eller Socrative app. Room: PBAC Plalægig af studie med krav til præcisio Plalægig af studie med krav til præcisio Hvilket af følgede udsag er korrekt? A: Statistik er virkelig skod, jeg tror ikke det ka bruges til oget B: Statistik er altså øv, ma skal bare sidde og sætte e masse tal id i ogle dumme formler C: Jeg burde ligge uder mi dye og blive frisk til at feste igeem i afte D: Statistik er virkelig fedt, det er fascierede at ma ikke bare ka rege et estimat ud, me ma ka også rege ud hvor præcist det estimat er Method 3.45: The oe-sample CI sample size formula: Whe σ is kow or guessed at some value, we ca calculate the sample size eeded to achieve a give margi of error, ME, with probability 1 α as: ( ) z1 α/2 σ 2 = (1) ME DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60

14 Plalægig af studie med krav til præcisio Oversigt Plalægig af studie med krav til præcisio 1 t-fordelige Husk også at sige at Exercise 1.i er i de svære ede og ma ka sprige de over. 2 Kofidesitervallet for µ 3 De statistiske sprogbrug og formelle ramme 4 Ikke-ormale data, Cetral Græseværdisætig (CLT) 5 Kofidesiterval for varias og spredig 6 Plalægig af studie med krav til præcisio DTU Compute Itroduktio til Statistik Efterår / 60 DTU Compute Itroduktio til Statistik Efterår / 60