StatDataN: Plot af data

Transkript

1 StatDataN: Plot af data JLJ StatDataN: Plot af data p. 1/39

2 Repetition binomial(n,p): P(X = k) = ( n) k p k (1 p) n k n uafhængige kast med en mønt, X= antal krone X binomial(n, p), Y binomial(m, p), uafhængige X + Y binomial(n + m,p) E(X) = np, V (X) = np(1 p) poisson(λ): P(X = k) = λk k! e λ X = antal klik i geigertæller X poisson(λ 1 ), Y poisson(λ 2 ), uafhængige X + Y poisson(λ 1 + λ 2 ) E(X) = λ, V (X) = λ StatDataN: Plot af data p. 2/39

3 Repetition Normalfordelingen N(µ,σ 2 ): f X (x) = 1 2πσ 2 e 1 2σ 2 (x µ) 2 X = samlede effekt af en masse små bidrag X N(µ 1,σ1 2), Y N(µ 2,σ2 2 ), uafhængige X + Y N(µ 1 + µ 2,σ1 2 + σ2 2 ) E(X) = µ, V (X) = σ 2 U N(0, 1): P(U u) = Φ(u) X µ X = µ + σu N(µ,σ 2 ), σ = U N(0, 1) P(X = µ + σu x) = P ( U x µ ) ( σ = Φ x µ ) σ StatDataN: Plot af data p. 3/39

4 Diffusion Lad X t være den stokastiske variabel der angiver en partikels position til tid t Ex: et pollen på overfladen af en væske: eneste påvirkning er molekylbevægelser: Brownsk bevægelse Random walk approximation: Lad X (n+1)δ = X nδ + µδ + σ δ +1 med ss med ss 1 2 Lad δ 0 i denne konstruktion: diffusion med drift µ og diffusionskoefficient σ 2 Vis R-plot StatDataN: Plot af data p. 4/39

5 Diffusion: egenskaber X t N(tµ,tσ 2 ) For t > s er X t X s (tilvækst) uafhængig af X s (nuværende position) X t X s N ( µ(t s),σ 2 (t s) ) StatDataN: Plot af data p. 5/39

6 Typisk situation Udfaldsrum Ω Sandsynlighedsmål P, Stokastisk variabel X n uafhængige gentagne målinger: X 1,...,X n uafhængige, samme egenskaber som X Observerede værdier: x 1,...,x n Udtale sig om egenskaber ved fordeling af X ud fra observationerne Punkt 1: hvilken fordelingsklasse skal vi bruge? StatDataN: Plot af data p. 6/39

7 Hestespark Ex: For 14 prøjsiske regimenter har man i årerne registreret hvor mange der er døde hvert år som følge af hestespark. år regiment A B C D K L M N dødsfald antal år Hvilken fordeling skal vi bruge til at beskrive X = antal dødsfald i et regiment i et år? StatDataN: Plot af data p. 7/39

8 Pindediagram dødsfald antal obs. frekvens I 1 placeres en søjle af højde I 2 placeres en søjle af højde osv StatDataN: Plot af data p. 8/39

9 Pindediagram Grafisk illustration af data? n = 200, X 1,...,X 200 For hvert j = 0, 1, 2, 3, 4 afsætter vi en søjle med højden 1 n n i=1 1(x i = j), dvs andelen af observationer med værdien j. Ligner dette noget vi kender? Indsætter for hvert j = 0, 1, 2, 3, 4 poisson-ss ˆλ j j! e ˆλ, Tager ˆλ = n 1 n i=1 X i = ( ) = 0.61 Vis R-plot StatDataN: Plot af data p. 9/39

10 Pindediagram: R Procedure: spark = c(0, 1, 2, 3, 4) antal = c(109, 65, 22, 3, 1) plot(spark, antal/sum(antal), type = h ) Indsættelse af poissonsandsynligheder: lam = sum(spark antal)/sum(antal) taethed = dpois(spark, lam) points(spark + 0.1, taethed, type = h ) StatDataN: Plot af data p. 10/39

11 Pindediagram: R Antag at vi har indlæst resultaterne for hvert regiment hvert år i data, så dannes antal ved spark = c(0, 1, 2, 3, 4) antal = rep(0, length(spark)) for (i in 1 : length(spark)){ antal[i] = sum(data == spark[i])} Eller: spark = c(0, 1, 2, 3, 4) antal = hist(data,breaks = c(spark[1] 0.5,spark + 0.5), plot = F)$counts StatDataN: Plot af data p. 11/39

12 Møntkast Jeg har data fra 76 af jer: kaster mønt 10 gange, registrerer antallet af kroner Pindediagram med binomialsandsynligheder StatDataN: Plot af data p. 12/39

13 Måling af lyshastighed Ex: Simon Newcomb: lyshastighed målt ved at sende lys fra laboratorie til spejl på Washington Monument og tilbage (7400m) 64 målinger (to outliers er udeladt): Da lyshastigheden er en kontinuert variabel kan vi ikke lave en søjle for hver værdi som før. Istedet grupperer vi og angiver andel i gruppe ved hjælp af et areal StatDataN: Plot af data p. 13/39

14 Histogram interval antal frekvens højde Lav kasse i intervallet med højde OSV StatDataN: Plot af data p. 14/39

15 Histogram: ide Gruppe = interval (z 1,z 2 ] P(z 1 < X z 2 ) = z2 z 1 f X (x)dx = areal under kurven f X (x) = (z 2 z 1 ) h h er en gennemsnitshøjde" h = frekvens i gruppe længden af gruppen StatDataN: Plot af data p. 15/39

16 Histogram Grupper: (z 0,z 1 ] (z 1,z 2 ] (z 2,z 3 ] (z k 1,z k ] antal obs: n 1 n 2 n 3 n k n højder h j : 1 /n n 2 /n n 3 /n z 1 z 0 z 2 z 1 z 3 z 2 n = n n k = antal observationer Tegn kasse med højde h j i intervallet (z j 1,z j ] ( ) Eller: punkterne zj 1 +z j 2,h j ( ) Eller: punkterne zj 1 +z j 2, log(h j ) Vis R-plot n k /n z k z k 1 StatDataN: Plot af data p. 16/39

17 Histogram: R Procedure: data indsættes i lys hist(lys, probability = T) StatDataN: Plot af data p. 17/39

18 QQplot Empirisk fordelingsfunktion: F n (x) = 1 n n i=1 1(X i x) = andel af obs der er mindre end eller lig med x Sammenligne denne med fordelingsfunktion for en normalfordeling: F N(µ,σ2 )(x) = Φ ( x µ ) σ Vis R-plot Fraktiler fra F n kaldes i bogen stikprøvefraktiler StatDataN: Plot af data p. 18/39

19 QQplot Måske tegne punkter { FN(µ,σ2 )(x),f n (x) } for mange x-værdier Hvis data er normalfordelte: punkter omkring identitetslinien Istedet { tegne punkter Φ 1 (F N(µ,σ2 )(x)), Φ 1 (F n (x)) } dvs { x µ σ, Φ 1 (F n (x)) } som stadig bør ligge omkring identitetslinien Istedet tegne punkter { x, Φ 1 (F n (x)) } som bør ligge omkring ret linie der skærer x-aksen i µ og har hældning 1 σ StatDataN: Plot af data p. 19/39

20 QQplot Lad x (1) < x (2) < < x (n) være de ordnede værdier af x-erne. Så springer F n fra j 1 n til j n i punktet x (j) Vi { afsætter punkterne x (j), Φ 1 ( j 0.5 n }, ) j = 1,...,n Vis R-plot StatDataN: Plot af data p. 20/39

21 QQplot i 0.5 i x (i) 64 Φ 1 ( ) i StatDataN: Plot af data p. 21/39

22 qq-plot Procedure: data indsættes i lys n = length(lys) x = sort(lys) tquan = qnorm((c(1 : n) 0.5)/n) plot(tquan, x) Alternativ: qqnorm(lys) StatDataN: Plot af data p. 22/39

23 Resume n uafhængige gentagne målinger: Fordelingsundersøgelse: Pindediagram / Histogram qq-plot StatDataN: Plot af data p. 23/39

24 Skøn over middelværdi Højdemåling: n personer er valgt tilfældigt og vi har målt deres højder Hvad er middelhøjden i populationen? Generelt: X 1,X 2,...,X n uafhængige og med samme fordeling Lave skøn over parameteren µ = E(X) Intuitivt foreslag: brug gennemsnit X = 1 n n 1 X i som skøn over middelværdien µ Husk at vi indførte middelværdi som grænseværdi af gennemsnit når vi lader n blive større og større Værdier: 8,3,4,7; gennemsnit = ( )/4 = 22/4 = 5.5 StatDataN: Plot af data p. 24/39

25 Skøn over middelværdi Et skøn er en stokastisk variabel = funktion af data, og er ikke det samme som parameteren Hvad kan vi sige om dette skøn? E(skøn) = 1 n nµ = µ Variation af X omkring µ: V ( X) = 1 n 2 nσ 2 = σ2 n, hvor σ2 = V (X 1 ) Hvad kan vi sige om fordelingen af skønnet? StatDataN: Plot af data p. 25/39

26 CLT for gennemsnit Centrale grænseværdisætning = CLT X 1,X 2,...,X n uafhængige, E(X i ) = µ, V (X i ) = σ 2 n X µ σ N(0,1), X = 1 n n i=1 X i eller X nσu + µ: X N ) (µ, σ2 n eller ( ) P( X n(z µ) z) Φ σ StatDataN: Plot af data p. 26/39

27 Lineær funktion X N ) (µ, σ2 n Hvad kan vi sige om Y = α + β X? E(Y ) = α + βe( X) = α + βµ, V (Y ) = β 2 V ( X) = β 2σ2 n, U N(0,1), Y = α + β ( µ + σ ) U n = (α + βµ) + βσ n U N(α + βµ,β 2 σ 2 /n) StatDataN: Plot af data p. 27/39

28 Propagation of error Antag at µ indgår i en formel og jeg derfor gerne vil lave et skøn over en funktion h(µ) af µ Intuitivt: X er et skøn over µ, derfor bruger vi Y = h( X) som skøn for h(µ) Hvad kan vi sige om dette skøn? X lever mest i området µ ± 2σ n Dette er et lille område og derfor bruger vi en lineær approximation til h h(z) = h(µ) + (z µ)h (µ) + Rest h(µ) + (z µ)h (µ) StatDataN: Plot af data p. 28/39

29 Propagation of error: varians Bruger vi den lineære approximation får vi følgende varians: V {h( X)} V {h(µ) + h (µ)( X µ)} = h (µ) 2 V ( X µ) = h (µ) 2σ2 n Fejlen ved denne variansapproksimation er af størrelsesorden 1 n 2 StatDataN: Plot af data p. 29/39

30 CLT for funktion af gennemsnit Fordelingen af h( X) kan approximeres ved: h( X) h(µ) + h (µ)( X µ) h( X) h(µ) n σh n X µ N(0,1) (µ) σ eller h( X) [ σh (µ) n ] X µ n σ + h(µ) og dermed h( X) N (h(µ), σ2 h (µ) 2 ) n StatDataN: Plot af data p. 30/39

31 Propagation of error h( X, Ȳ ) (X 1,Y 1 )...,(X n,y n ) uafhængige E(X i ) = µ X, E(Y i ) = µ Y, V (X i ) = σ 2 X, E(Y i) = σ 2 Y, Cov(X i,y i ) = σ X,Y h : R 2 R, h x = h x (µ X,µ Y ), h y = h y (µ X,µ Y ) h( X,Ȳ ) = h(µ X,µ Y ) + h x ( X µ X ) + h y (Ȳ µ Y ) + Rest Vores approksimation bliver nu V {h( X,Ȳ )} V {h x( X µ X ) + h y (Ȳ µ Y )} = h 2 xv ( X) + h 2 yv (Ȳ ) + 2h xh y Cov( X,Ȳ ) = 1 { h 2 n x σx 2 + h 2 yσy 2 } + 2h x h y σ X,Y StatDataN: Plot af data p. 31/39

32 Log odds Lad X = B B n være binomialforfordelt: X binomial(n,p) Som skøn over p = E(B i ) bruges ˆp = B = X /n. E(ˆp) = p, V (ˆp) = p(1 p) n ( ) Betragt nu parameteren θ = log p 1 p, log odds Skøn over θ: ˆθ = log ( ˆp 1 ˆp ) ( = log B ) Funktion h( B), h(z) = log ( z 1 z h (z) = 1 z z = 1 z(1 z) V { ( )} B log 1 B ( 1 B ) ) 1 2 p(1 p) p(1 p) n = 1 np(1 p) StatDataN: Plot af data p. 32/39

33 Log odds n = 100, p = 0.5, X, Y = log( X/(1 X)) E( X) = 0.5, V ( X) = 1 400, X N(0.5, ) E(Y ) log(0.4/(1 0.5)) = 0, V (Y ) (1/0.5 2 ) 2 (0.05) 2 = (0.2) 2, Y N(0,0.2 2 ) StatDataN: Plot af data p. 33/39

34 Produkt af to binomialfordelte X binomial(n,p), Y binomial(n,q), uafhængige ˆp = X n = X, ˆq = Y n = Ȳ θ = p q, ˆθ = ˆpˆq = X Ȳ V ( XȲ ) [ ( = E ) ] 2 XȲ [ E ( XȲ )] 2 = E [ ] X2 E [ Ȳ 2] [ E ( X)] 2 [ (Ȳ )] 2 E = {V ( [ ( X) + E X)] 2 }{V ( Ȳ ) + [ E ( Ȳ )] } 2 [ E ( X)] 2 [ (Ȳ )] 2 E = [ E ( Ȳ )] 2 ( [( V X) + E X)] 2 (Ȳ ) ( (Ȳ ) V + V X) V = q 2 n 1p(1 p) + p2 n 1q(1 q) + n 1p(1 p) n 1 q(1 q) [ q 2 p(1 p) + p 2 q(1 q) ] + n 1 p(1 p)q(1 q) 2 = 1 n StatDataN: Plot af data p. 34/39

35 Produkt af to binomialfordelte V ( XȲ ) = n 1 [ q 2 p(1 p) + p 2 q(1 q) ] + n 1 p(1 p)q(1 q) 2 = n 1 [ q 2 p(1 p) + p 2 q(1 q) ]{ } 1 + n 1 1 n = 10, p = q = = q 1 q + p 1 p StatDataN: Plot af data p. 35/39

36 Produkt af to binomialfordelte µ X = p, µ Y = q, σ 2 X = p(1 p), σ2 Y = q(1 q), σ X,Y = 0 h(x,y) = xy, h x = q, h y = p V ( XȲ ) 1 n [ h 2 x σ 2 X + h 2 yσ 2 Y ] = 1 n [ q 2 p(1 p) + p 2 q(1 q) ] hvilket er første led fra før StatDataN: Plot af data p. 36/39

37 Log odds ratio X binomial(n,p), Y binomial(m,q), uafhængige X = X n, Ȳ = Y m V ( X) = p(1 p) n, V (Ȳ ) = p(1 p) m, Cov( X,Ȳ ) = 0 ( ) θ = log p 1 p 1 q q = g(p) g(q), g(z) = log( 1 z z µ X = p, σx 2 = p(1 p), µ Y = q, σy 2 = q(1 q) h(x,y) = g(x) g(y), h x = 1 p(1 p), h y = 1 q(1 q) 1 V (ˆθ) np(1 p) + 1 mq(1 q) StatDataN: Plot af data p. 37/39

38 Log odds ratio Ex: n = 230, x = 69, ˆp = 0.30, m = 540, y = 216, ˆq = 0.40 ˆθ = log( ) = 0.44 Varians på skøn over θ: = StatDataN: Plot af data p. 38/39

39 Resume CLT for gennemsnit Lineær approximation til funktion h: Varians af h( X) CLT for h( X) StatDataN: Plot af data p. 39/39