Sandsynlighedsregning 4. forelæsning Bo Friis Nielsen Anvendt Matematik og Computer Science Danmarks Tekniske Universitet 2800 Kgs. Lyngby Danmark Email: bfni@dtu.dk
Dagens emner: Afsnit 3.3 og 3.4 Varians/standardafvigelse Var(X) = E[(X E(X)) 2 ] = (x E(X)) 2 P(X = x) alle x Normalfordelingsapproksimation/den Centrale Grænseværdisætning ( P a S ) n nµ σ n b Φ(b) Φ(a) Markovs og Chebychevs uligheder for ekstreme udfald P(X a) E(X) P( X E(X) ksd(x)) 1 a k 2 Et udpluk af diskrete fordelinger P(T = i) = (1 p) i 1 p P(Y r = i) = Indikatorfunktioner I A = i+r 1 r 1 1 hvis A indtræffer 0 hvis A c indtræffer p r (1 p) i
Standardafvigelse/varians Without replacement Probability 0.00 0.15 0 20 40 60 80 White balls With replacement Probability 0.00 0.15 0 20 40 60 80 White balls Den hypergeometriske fordeling har mindre variation end binomialfordelingen. 02405 forelæsning 4 3
Definition af varians Var(X) = E[(X E(X)) 2 ] = (x E(X)) 2 P(X = x) alle x Beregningsformel for varians (vigtig) p.186 Shift and scale Var(X) = E(X 2 ) (E(X)) 2 Sum af uafhængige variable Var(aX +b) = a 2 Var(X) Hvis X 1,...,X n er uafhængige, så Var ( n i=1 X i ) = n Var(X i ) i=1
Varians af et tal trukket fra en liste Givet en liste af tal (x 1,x 2,...,x n ) Lad X være en stokastisk variabel: Et tilfældigt element af listen. n E(X) = x = 1 n i=1 x i Var(X) = 1 n n x 2 i x 2 i=1 02405 forelæsning 4 5
Standardafvigelse Normal p.d.f. SD(X) = Var(X) Shift and scale φ(x) 0.0 0.1 0.2 0.3 0.4 15.8 % Vendetange SD(aX + b) = a SD(X) 3 2 1 0 1 2 3 x 02405 forelæsning 4 6
Bestem variansen i binomialfordelingen (n,p) Først, skriv X Bin(n,p) som X = X 1 + +X n hvor X i Bernoulli(p) Dernæst, variansen i en Bernoullifordeling (p): Kombinér: E(X i ) = p, E(X 2 i) = p, Var(X i ) = p(1 p) Var(X) = np(1 p) 02405 forelæsning 4 7
Spredningen i binomialfordelingen (n,p) 0.0 0.3 0.0 0.2 0.4 0.6 0.8 1.0 p SD 1 3 5 SD 0 20 40 60 80 100 02405 forelæsning 4 8 n
Lad X være antallet af dage i en måned valgt tilfældigt blandt årets tolv måneder i et ikke-skudår. Det anføres at E(X) = 365 12. Spørgsmål 1 Man finder SD(X) til 1 0.71 2 0.76 3 0.81 4 0.86 5 0.91 6 Ved ikke 02405 forelæsning 4 9
Kvadratrodsloven Lad X i være I.I.D. (Independent and Identically Distributed). Definér summen S n = X 1 + +X n Definér gennemsnittet X n = 1 n S n. E(S n ) = ne(x i ), SD(S n ) = nsd(x i ) E( X n ) = E(X n ), SD( X n ) = 1 n SD(X n ) 02405 forelæsning 4 10
Store tals svage lov Lad X i være I.I.D. med 10 middelværdi µ og spredning σ. P 0.00 0.0 0.2 0.4 0.6 0.8 1.0 Average 100 P ǫ > 0 : 0.00 0.0 0.2 0.4 0.6 0.8 1.0 Average n 1000 P( X n µ < ǫ) 1 P 0.000 0.0 0.2 0.4 0.6 0.8 1.0 Average ( X n konvergerer mod µ i sandsynlighed) P 0.000 10000 0.0 0.2 0.4 0.6 0.8 1.0 Average 02405 forelæsning 4 11
Den centrale grænseværdisætning p.196 Lad X 1,...,X n være I.I.D. med middelværdi µ og varians σ 2. Definér S n = X 1 + +X n. For store n gælder approksimativt ( P a S ) n nµ σ n b Φ(b) Φ(a) 02405 forelæsning 4 12
Betydning CGS er et centralt resultat i sandsynlighedsregningen og statistikken (og findes i mange varianter) Budskabet er, at stokastiske variable, der er dannet gennem en sum af mange mindre bidrag, med god tilnærmelse kan beskrives ved en normalfordeling Vi har allerede set denne sætning i anvendelse for binomialfordelingen (og Poissonfordelingen) 02405 forelæsning 4 13
Markovs ulighed p.174 For ikke negative stokastiske variable, kan vi angive en øvre grænse for sandsynligheder ved brug af middelværdien. P(X a) E(X) a Chebychevs ulighed p.191 Hvis vi også kender variansen kan vi skærpe denne grænse P( X E(X) ksd(x)) 1 k 2 02405 forelæsning 4 14
Om en stokastisk variabel X, der beskriver et rumindhold, oplyses det, at den har middelværdi E(X) = 10. Spørgsmål 2 Den mindste øvre grænse for P(X 20) findes til 1 1 4 2 1 2 3 3 4 ) 4 1 Φ( 20 10 20 5 En sådan grænse kan ikke bestemmes ud fra det oplyste 6 Ved ikke Hvor Φ som sædvanlig betegner fordelingsfunktionen for en standardiseret normalfordelt variabel. 02405 forelæsning 4 15
Et udvalg af diskrete fordelinger En række grundlæggende mekanismer Se pp.475 Distribution summaries 02405 forelæsning 4 16
Spørgsmål 3 Hvis en række tal c i udgør en sandsynlighedsfordeling, hvad må der så gælde om c i? 1 Der er ingen specifikke krav 2 i c i = 1 3 c i kan bestemmes fra en formel som c i = n i p i (1 p) n i 4 c i 0 5 Ingen af de ovenstående er tilstrækkelige 6 Ved ikke 02405 forelæsning 4 17
Den geometriske fordeling T : antal Bernoulli forsøg indtil første succes P(T = i) = (1 p) i 1 p P(T > i) = (1 p) i Middelværdi Varians E(T) = P(T > i) = 1 p i=0 Var(T) = 1 p p 2, SD(T) = 1 p p 02405 forelæsning 4 18
T r Antal forsøg indtil rte succes Negativ binomialfordeling Y r Antal fiaskoer til den r te succes i en sekvens af Bernoulliforsøg Hvor mange kameraer skal vi kassere før vi får r, der passerer kvalitetskontrollen T r = Y r +r (Har i øvrigt mange andre fortolkninger) 02405 forelæsning 4 19
Spørgsmål 4 Hvad er middelværdi og varians for en NB(r,p) fordeling? 1 E(Y r ) = r(1 p) p,var(y r ) = r(1 p) p 2 2 E(Y r ) = r(1 p) p,var(y r ) = (1 p) p 2 3 E(Y r ) = 1 p,var(y r) = r(1 p) p 2 4 E(Y r ) = 1 p,var(y r) = (1 p) p 2 5 E(Y r ) = r p,var(y r) = r p 2 6 Ved ikke 02405 forelæsning 4 20
Negativ binomialfordeling udledning Antal fiaskoer før r te succes. En sekvens af Bernoulli forsøg: fffsffsfs Vi skal placere r 1 successer på i+r 1 forsøg før vores endelige succes. Derfor i+r 1 P(Y r = i) = p r 1 (1 p) i p r 1 i+r 1 = p r (1 p) i r 1 02405 forelæsning 4 21
Middelværdi og varians Y r NB(r,p) Y r = T r r T r = W 1 + +W r hvor W i er ventetiden fra den i 1te til den ite succes. W i er IID; geometrisk (p) fordelt: Lad X i være antallet af fiaskoer mellem succes i 1 og i. Vi har da Derfor: Y r = E(W i ) = 1 p r X i = i=1 E(Y r ) = r p Var(W i ) = 1 p p 2 r (W i 1) = i=1 r = r1 p p r W i r 02405 forelæsning 4 22 i=1 Var(Y r ) = r 1 p p 2
Indikatorfunktionen (p.155), p.168 Spørgsmål 5 Hvad er E(I A ) 1 0.5 2 1 3 A 4 P(A) I A = 5 Kan man ikke sige generelt 6 Ved ikke 1 hvis A indtræffer 0 hvis A c indtræffer 02405 forelæsning 4 23
Hvornår kan man bruge indikatorfunktioner? Man kan bruge indikatorfunktionen når vi kan skrive en stokastisk variabel X som X = I A1 +I A2 + +I Ak - dvs. X tæller, hvor mange af hændelser A 1,...,A k, der er indtruffet. E(X) = P(A 1 )+P(A 2 )+...P(A k ) bruges når P(A i ) kan bestemmes (let), men fordelingen af X ikke kan. (F.eks. opgave 3.2.14) 02405 forelæsning 4 24
Opgave 3.3.8 Lad A 1, A 2 og A 3 være hændelser med sandsynlighederne P(A 1 ) = 1 5, P(A 2) = 1 4, P(A 3) = 1 3 Lad N betegne antallet af disse hændelser, der indtræffer. Opskriv N udtrykt ved indikatorvariable Variablen I B antager værdien 1, hvis B indtræffer, ellers 0. N = I A1 +I A2 +I A3 02405 forelæsning 4 25
Find E(N) N = I A1 +I A2 +I A3 Vi tager forventning på begge sider E(N) = E(I A1 +I A2 +I A3 ) Dermed E(N) = E(I A1 )+E(I A2 )+E(I A3 ) Hvorfor? E(N) = P(A 1 )+P(A 2 )+P(A 3 ) = 47 60 02405 forelæsning 4 26
Beregn Var(N) når A 1, A 2 og A 3 er gensidigt udelukkende A 1, A 2 og A 3 er uafhængige A 1 A 2 A 3 02405 forelæsning 4 27
Var(N) når A i er gensidigt udelukkende I dette tilfælde har vi P(N > 1) = 0 P(N = 1) = P(A 1 )+P(A 2 )+P(A 3 ) = E(N) Eksperimentet er altså et Bernoullieksperiment og vi har Var(N) = p(1 p) = 47 60 13 60 = 0,170 = 0,4122 02405 forelæsning 4 28
Var(N) når A 1, A 2 og A 3 er uafhængige Var(N) = Var(I A1 +I A2 +I A3 ) = Var(I A1 )+Var(I A3 )+Var(I A3 ) For hver A i har vi Var(I Ai ) = P(A i ) P(A c i) Altså Var(I A1 ) = 1 5 4 5 = 4 25 Var(I A2 ) = 3 16 Var(I A3 ) = 2 9 Så V(N) = 2051 3600 0,570 0.7552 02405 forelæsning 4 29
Beregn Var(N) når A 1 A 2 A 3 P(N = 3) = P(A 1 ) = 1 5 Vi har ved brug af differensreglen p.22 P(N = 2) = P(A 2 \A 1 ) = P(A 2 ) P(A 1 ) = 1 20 Dermed: P(N = 1) = P(A 3 \A 2 ) = P(A 3 ) P(A 2 ) = 1 12 E(N 2 ) = 9 5 + 4 20 + 1 12 = 119 60 Var(N) = E(N 2 ) (E(N)) 2 = 4931 = 1,370 = 1,1702 3600 02405 forelæsning 4 30
Beregn Var(N) når A 1, A 2 og A 3 er gensidigt udelukkende Var(N) = 0.412 2 A 1, A 2 og A 3 er uafhængige Var(N) = 0,755 2 A 1 A 2 A 3 Var(N) = 1,17 2 Kan vi forklare/forstå resultatet? 02405 forelæsning 4 31
Tail sum formula Hvis X kan antage værdier 0,1,... E(X) = i=1 P(X i) (En tilsvarende formel gælder for kontinuerte variable; kap. 4) Bevis: hvor X = I(A 1 )+I(A 2 )+ A i = {X i} 02405 forelæsning 4 32
Et par nyttige sumformler N i=0 a i = 1 an+1 1 a, a 1 i=0 a i = 1 1 a, a < 1 i=0 a i i! = ea For a i 0 og b i 0 har vi: ( )( ) ( i ) a i b i = a k b i k = i=0 i=0 i=0 k=0 c i c i = 02405 forelæsning 4 33 i=0 i a k b i k k=0
Sammenhæng mellem fordelinger X Bin(n 1,p) og Y Bin(n 2,p): X +Y Bin(n 1 +n 2,p) X Pois(λ 1 ) og Y Pois(λ 2 ): X +Y Pois(λ 1 +λ 2 ) X Geom(p): X 1 NB(1,p). X NB(r 1,p) og Y NB(r 2,p): X +Y NB(r 1 +r 2,p) Bin(n,λ/n) Pois(λ) når n HyperGeom(n,N,G) Bin(n,p) når N,G mens G/N p. Summer kan generelt approksimeres med normalfordelingen 02405 forelæsning 4 34
Nye begreber i afsnit 3.3 og 3.4 Varians og standardafvigelse Markovs og Chebychevs uligheder Indikatorfunktion Den centrale grænseværdisætning (3.3) Geometrisk fordeling Negativ binomial fordeling Poisson fordeling 02405 forelæsning 4 35
Afsnit 3.3 og 3.4 Varians/standardafvigelse Var(X) = E[(X E(X)) 2 ] = (x E(X)) 2 P(X = x) alle x Normalfordelingsapproksimation/den Centrale Grænseværdisætning ( P a S ) n nµ σ n b Φ(b) Φ(a) Markovs og Chebychevs uligheder for ekstreme udfald P(X a) E(X) P( X E(X) ksd(x)) 1 a k 2 Et udpluk af diskrete fordelinger P(T = i) = (1 p) i 1 p P(T r = i) = Indikatorfunktioner I A = x+r 1 r 1 1 hvis A indtræffer 0 hvis A c indtræffer p r 1 (1 p) i p