Binomial fordeling. n f (x) = p x (1 p) n x. x = 0, 1, 2,...,n = x. x x!(n x)! Eksempler. Middelværdi np og varians np(1 p). 2/

Transkript

1 Program: 1. Repetition af vigtige sandsynlighedsfordelinger: binomial, (Poisson,) normal (og χ 2 ). 2. Populationer og stikprøver 3. Opsummering af data vha. deskriptive størrelser og grafer. 1/29

2 Binomial fordeling X 1, X 2,...,X n uafhængige stokastiske variable med fordeling givet ved P(X i = 1) = p P(X i = 0) = 1 p Sandsynlighedsfunktion for X = X 1 + X X n ( ) ( ) n n f (x) = p x (1 p) n x n! x = 0, 1, 2,...,n = x x x!(n x)! Eksempler Middelværdi np og varians np(1 p). 2/29

3 Normal fordeling Tæthedsfunktion for normalfordeling med middelværdi µ og varians σ 2 : f (x) = Ex µ = 3, σ 2 = 1 og µ = 1, σ 2 = 4 1 µ)2 exp( (x 2πσ 2 2σ 2 ) f(x) x 3/29

4 Beregning af sandsynligheder Antag X normal-fordelt med EX = 4 og VarX = 9 P(X 2) = P(Z ) = hvor Z = X 4 9 standardnormalfordelt Fraktil: x er % fraktil hvis P(X < x) = Vha. tabel: P(Z < 0.67) = og x = = /29

5 Fortolkning af σ Chebyshev: P(µ kσ < X < µ + kσ) 1 1 k 2 Fordel: benytter kun viden om µ og σ ikke hvad f (x) konkret er. Ulempe: giver kun øvre grænse for sandsynlighed. Ex (opgave 5.17 side 151) X binomialfordelt med n = 5 og p = 0.7. µ = = 3.5 σ = = P( < X < ) = P(1.45 < X < 5.55) 75% 5/29

6 Normal fordeling Antag µ = 4 og σ 2 = 9. Hvilke værdier forventer man at X antager? Generelt for normalfordeling: P(µ 2σ < X < µ + 2σ) = P(2 < Z < 2) = 95.44% P(µ 3σ < X < µ + 3σ) = P(3 < Z < 3) = 99.73% Dvs.: med stor sandsynlighed (95 %) vil X ligge mellem 2 og 10 og (næsten) med sikkerhed (99.73 %) vil X ligge mellem 5 og 13. 6/29

7 Population Population: den totale mængde af mulige observationer for et givet eksperiment. Endelig (og konkret) population: højder for alle personer i dette lokale. Uendelig (og abstrakt) population: resultatet af uendelig mange kast med en mønt. Uendelig (og abstrakt) population: alle de (i princippet) mulige resultater af ph målinger for en jordprøve. Hvis fordelingen af alle observationer i en population kan beskrives ved en sandsynlighedsfunktion/tæthed f (x) (f.eks. binomial eller normal) kan vi referere til f (x) som en population. population = f (x) 7/29

8 Stikprøve (eng.: sample) Stikprøve: endelig delmængde af population. Ex: population højder for alle personer i USA (i praksis uendelig). Stikprøve: højder for 1000 tilfældigt udvalgte amerikanere. Ex: 3 gentagelser af absorptionsmålinger for en given protein-opløsning. 8/29

9 Repræsentativ stikprøve Vigtigt at en stikprøve er repræsentativ. Uheldige eksempler fra det virkelige liv: laboranter udtog de største kirsebærblomster eller snegle i forsøg vedr. resistens for nattefrost. Definition Hvis X 1,...,X n er uafhængige observationer fra den samme population f (x) kaldes X 1,...,X n en tilfældig stikprøve fra f (x) (og derfor f (x 1, x 2,...,x n ) = f (x 1 )f (x 2 ) f (x n )) 9/29

10 Deskriptive størrelser: center for en population Deskriptive størrelser Parameter for population f (x) Middelværdi: µ = E(X) X = 1 n n i=1 X i Median X : tal så halvdelen af stikprøve 50 % fraktil x 0.50 : over og halvdelen under P(X x 0.50 ) = 50% Modus: hyppigst forekommende værdi x så f (x) maksimal NB: alle de deskriptive størrelser er stokastiske variable. Den observerede værdi af X baseret på x 1,...,x n benævnes x. 10/29

11 Deskriptive størrelser: populationens variabilitet Deskriptive størrelse Parameter for population f (x) Varians σ 2 = E(X µ) 2 S 2 = 1 n n 1 i=1 (X i X) 2 Standardafvigelse σ n S = i=1 (X i X) 2 1 n 1 IQR: forskel mellem x 0.75 x % og 25 % empiriske fraktil Empirisk 25 % / 75 % fraktil: værdi som 25 % / 75 % af stikprøven er mindre end eller lig med. SPSS: Alle deskriptive størrelser kan udregnes via Analyse Descriptive Statistics Frequencies (tryk statistics for at vælge hvilke størrelser der skal udregnes) 11/29

12 Empirisk middelværdi, varians, median, IQR Deskriptive størrelser for rivet data: mean var median IQR Ændrer en værdi 6.62 til 5 (f.eks. tastefejl): mean var median IQR Eksempler på at median og IQR er robuste, og at empirisk middelværdi og varians ikke er robuste (dvs. er følsomme overfor outliers). 12/29

13 Grafiske metoder Fordelingens form: Histogram (kontinuert) Histogram of x Density x SPSS: Vælg Histogram under Graphs Chart Builder 13/29

14 Grafiske metoder (fortsat) Fordelingens form: Søjle diagram (diskret): /29

15 Boxplot Specielt velegnet til sammenligning af flere stikprøver: station 1: 5.03,13.7,10.73,11.4,8.6,2.2,4.25,15.04,4.98,11.91,8.13,26.85, 17.66,22.8,1.13,1.69 station 2: 2.8,4.67,6.89,7.72,7.03,7.33,2.81,1.33,3.32, 1.23,2.13, Box: 25 %, 50 % (median) og 75 % fraktiler Whiskers (yderste vandrette streger): mest ekstreme observationer som er indenfor 25 % fraktil IQR og 75 % fraktil IQR. (dvs. mest ekstreme observationer som ikke er outliers ). 15/29

16 Fortolkning af whiskers 25 % og 75 % fraktiler for standardnormalfordeling Z : og 0.67 og IQR=1.35. (Teoretiske) whiskers: IQR = og IQR =2.70 P( IQR < Z < IQR) = P( 2.70 < Z < 2.70) = 99.3% 25 % og 75 % fraktiler for (µ, σ 2 ) normalfordeling X: 0.67σ + µ og 0.67σ + µ og IQR=1.35σ. (Teoretiske) whiskers: 2.70σ + µ og 2.70σ + µ P( 2.70σ + µ < X < 2.70σ + µ) = 99.3% Dvs. meget lille sandsynlighed for observationer udenfor whiskers for normalfordelt stikprøve ( outliers ) 16/29

17 Eksempler på Boxplot Boxplot for normalfordelte stikprøver med 10, 100 og observationer: SPSS: Vælg Boxplot under Graphs Chart Builder 17/29

18 Empiriske fraktiler (Ex 8.3 nicotine data) 40 observationer: Sorteret: Dvs. 5 observationer er mindre end eller lig Dvs er estimat for 5/40=12.5-% fraktil. Generelt: x (1) < x (2) < x (3) < < x (n) sorteret stikprøve. x (i) estimat for i/n fraktil: andel af obs x (i) er i/n. 18/29

19 Empiriske fraktiler x (i) =observation nr. i i den ordnede stikprøve (dvs. den i te mindste). Så er i n lig med andelen af observationer der er mindre end eller lig med x (i), dvs. F(x (i) ) = i n, hvor F er fordelingsfunktionen (CDF) for observationerne. Hvis nu observationerne er normalfordelte N(µ, σ 2 ), så er F(x) = P(X x) = P( X µ σ x µ σ ) = P(Z x µ σ ) = Φ(x µ σ ), hvor vi har kaldt standardnormalfordelingsfunktionen (den i tabel A.3) for Φ. 19/29

20 Sammenligning af fraktiler Det vil altså sige eller i n = F(x (i)) = Φ( x (i) µ ) σ Φ 1 ( i n ) = x (i) µ. σ ved invers transformation med Φ 1 ( ). Kalder vi nu q µ,σ 2(i/n) = x (i) q 0,1 (i/n) = Φ 1 ( i n ) har vi q 0,1 (i/n) = q µ,σ 2(i/n) µ. σ Vi får så det såkaldte QQ plot. 20/29

21 QQ plot: check af normalfordeling Hvis stikprøven er fra en normalfordeling bør x (i) være tæt på teoretisk i/n-fraktil q µ,σ 2(i/n) for normalfordeling hvor Dvs. punkter q µ,σ 2(i/n) = q 0,1 (i/n)σ + µ (q 0,1 (i/n), x (i) ) (q 0,1 (i/n), q µ,σ 2(i/n)) bør ligge på ret linie med skæring µ og hælding σ. NB: i bog bruges f i = (i 3/8)/(n + 1/4) i stedet for i/n. 21/29

22 Empiriske fraktiler (genforklaret) Reduceret nicotine data: Sorteret data x (1),...,x (8) og tilsvarende sandsynligheder f i = (i 3/8)/(8 + 1/4) i/8 x (i) f i q (0,1) (f i ) Ide: hvis normalfordelt (µ, σ 2 ) stikprøve skal x (i) q (µ,σ 2 )(f i ) og Dvs. q (µ,σ 2 )(f i ) = σq (0,1) (f i ) + µ x (i) σq (0,1) (f i ) + µ 22/29

23 QQ-plot x_(i) q(i/n) SPSS:Analyze Descriptive Statistics Q-Q Plots Bemærk: i SPSS bruges ikke standard normalfordelingen på x-aksen, men normalfordelingen med samme middelværdi og varians som data. 23/29

24 Nicotine data Normal Q Q Plot Sample Quantiles Theoretical Quantiles 24/29

25 Tre typer af plot for nicotine data Histogram of nicotine Frequency nicotine Normal Q Q Plot Sample Quantiles Theoretical Quantiles 25/29

26 Histogram og QQ-plot Eksempel på afhængighed af valg af intervaller: FALSE FALSE Normal Q Q Plot Density Density Sample Quantiles x x Theoretical Quantiles QQ-plot er fri for subjektive valg og afslører at fordelingen ikke er normal! 26/29

27 Fordeling af X Stikprøve X 1,X 2,...,X n stokastisk X stokastisk. Ex (normalfordelt stikprøve) Sample 1: Sample 2: Sample 10: 27/29

28 Empirisk middelværdi for alle stikprøver (gennemsnit af gennemsnit) Histogram of barx Frequency barx 28/29

29 Teoretisk fordeling af X E X = E 1 n (X X n ) = 1 n nµ = µ Var X = Var 1 n (X X n ) = 1 n 2nσ2 = σ 2 /n Normalfordelt stikprøve X normalfordelt. Ex: antag X gennemsnit af 20 normalfordelte variable med middelværdi 5 og varians 2. Hvad er sandsynligheden for, at P( X > 5.5)? 29/29