enote 2: Kontinuerte fordelinger Introduktion til Statistik Forelæsning 3: Kontinuerte fordelinger Peder Bacher enote 2: Continuous Distributions

Transkript

1 Introduktion til Statistik Forelæsning 3: Kontinuerte fordelinger Peder Bacher DTU Compute, Dynamiske Systemer Bygning 33B, Rum 9 Danmarks Tekniske Universitet 28 Lyngby Danmark pbac@dtu.dk Efterår 216 enote 2: Kontinuerte fordelinger Grundlæggende koncepter: Tæthedsfunktion: f () (pdf) Fordelingsfunktion: F() = P(X ) (cdf) Middelværdi (µ) og varians (σ 2 ) Regneregler for stokastiske variabler Specifikke fordelinger: Normal Log-Normal Uniform Eksponential t χ 2 (Chi-i-anden) F DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55 enote 2: Continuous Distributions Oversigt General concepts: Density function: f () (pdf) Distribution: F() = P(X ) (cdf) Mean (µ) and variance (σ 2 ) Calculation rules for random variables Specific distributions: Normal Log-Normal Uniform Eponential t χ 2 (Chi-square) F 1 Tæthedsfunktion Fordelingsfunktion Middelværdi af en kontinuert stokastisk variabel Varians af en kontinuert stokastisk variabel 2 Kontinuerte fordelinger i R Eksempel 1 Eksempel 2 Eksempel 3 Eksempel 4 Log-Normal fordelingen 3 Eksempel 5 Eksempel 6 Eksempel 7 4 Regneregler for stokastiske variable Eksempel 8 Eksempel 9 DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55

2 Tæthedsfunktion Tæthedsfunktion (probability density function (pdf)) Tæthedsfunktion Tæthedsfunktion for en kontinuert variabel Tæthedsfunktionen for en stokastisk variabel betegnes ved f () f () siger noget om hyppigheden af udfaldet for den stokastiske variabel X For kontinuerte variable svarer tætheden ikke til sandsynligheden, dvs. f () P(X = ) Et godt plot af f () er et histogram (kontinuert) f () P(a < X b) -4-2 a b 2 4 DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55 Tæthedsfunktion Tæthedsfunktion for en kontinuert variabel Fordelingsfunktion Fordelingsfunktion (distribution function eller cumulative density function (cdf)) For en kontinuert stokastisk variabel skrives tæthedsfunktionen som: f () Fordelingsfunktion for en kontinuert stokastisk variabel betegnes ved F() Der gælder: Fordelingsfunktionen svarer til den kumulerede tæthedsfunktion: f () for alle mulige F() = P(X ) f ()d = 1 F() = f (u)du f () = F () DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55

3 Fordelingsfunktion Fordelingsfunktion (distribution function eller cumulative density function (cdf)) F() P(a < X b) = F(b) F(a) -4-2 a b 2 4 DTU Compute Introduktion til Statistik Efterår / 55 Fordelingsfunktion Spørgsmål om sandsynligheder (socrative.com, room: PBAC) f () a b Hvilket areal (sandsynlighed) er markeret? A: b f ()d Svar C: b a f ()d B: 1 b a f ()d C: b a f ()d? D: 1 a f ()d DTU Compute Introduktion til Statistik Efterår / 55 Fordelingsfunktion Spørgsmål om sandsynligheder (socrative.com, room: PBAC) f () ? Fordelingsfunktion Den empiriske cumulative distribution function - ecdf vs. cdf Student height eample from Chapter 1: ## Plot empirisk cdf (ecdf) og estimeret cdf ## Højderne <- c(168,161,167,179,184,166,198,187,191,179) ## Plot den empiriske cdf plot(ecdf(), verticals = TRUE) ## En række punkter p <- 15:21 ## Den estimerede cdf lines(p, pnorm(p, mean(), sd())) a b Hvordan kan vi nemmest udregne det markerede areal? A: b a f ()d B: b a F()d C: f (b) f (a) D: F(b) F(a) Svar D: F(b) F(a) (vi gør det i R med (normalfordelt): pnorm(b) - pnorm(a)) DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55

4 Middelværdi af en kontinuert stokastisk variabel Middelværdi (mean) af en kontinuert stokastisk variabel Varians af en kontinuert stokastisk variabel Varians af en kontinuert stokastisk variabel Middelværdien af en kontinuert stokastisk variabel µ = f ()d Variansen af en kontinuert stokastisk variabel: σ 2 = ( µ) 2 f ()d Sammenlign med den diskrete definition: µ = f () alle Sammenlign med den diskrete definition: σ 2 = ( µ) 2 f () alle DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55 Varians af en kontinuert stokastisk variabel Varians af en kontinuert stokastisk variabel Spørgsmål om middelværdi (socrative.com, room: PBAC) Spørgsmål om middelværdi (socrative.com, room: PBAC) f () f 1 () f 2 () f () f 1 () f 2 () Hvilken middelværdi er størst? A: µ 1 < µ 2 B: µ 1 > µ 2 C: µ 1 = µ 2 D: Kan ikke afgøres Svar A: µ 1 < µ 2. (D er også fint at svare, da man ikke kan se hvad der er under -4 og over 4.) DTU Compute Introduktion til Statistik Efterår / 55 Hvilken spredning er størst? A: σ 1 < σ 2 B: σ 1 > σ 2 C: σ 1 = σ 2 D: Kan ikke afgøres Svar B: σ 1 > σ 2. (D er også fint at svare, da man ikke kan se hvad der er under -4 og over 4.) DTU Compute Introduktion til Statistik Efterår / 55

5 Konkrete statistiske fordelinger Kontinuerte fordelinger i R Kontinuerte fordelinger i R Der findes en række statistiske fordelinger, som kan bruges til at beskrive og analysere forskellige problemstillinger med Følgende kontinuerte fordelinger: Log-normalfordelingen R Betegnelse norm unif lnorm Log-normalfordelingen ep d Tæthedsfunktion f () (probability density function). p Fordelingsfunktion F() (cumulative distribution function). q Fraktil (quantile) i fordeling. r Tilfældige tal fra fordelingen. DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55 U(4,5) Skrivemåde: X U(α,β) (Læses: X følger en uniform fordeling med parametre α og β) 1 Tæthedsfunktion: f () = 1 β α Middelværdi: µ = α+β 2 Varians: σ 2 = 12 1 (β α)2 Taethed, f() DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55

6 Spørgsmål om uniform fordelt variabel (socrative.com, room: PBAC) Spørgsmål om uniform fordelt variabel (socrative.com, room: PBAC) Medarbejdere på en arbejdsplads ankommer mellem klokken 8. og 8.3. Det antages, at ankomsttiden kan beskrives ved en uniform fordeling. Hvad er sandsynligheden for at en tilfældig udvalgt medarbejder ankommer mellem 8.2 og 8.3? A: 1/2 B: 1/6 C: 1/3 D: E: Ved ikke Svar C: 1/3=1/3 punif(3,,3)-punif(2,,3) [1].33 Medarbejdere på en arbejdsplads ankommer mellem klokken 8. og 8.3. Det antages, at ankomsttiden kan beskrives ved en uniform fordeling. Hvad er sandsynligheden for at en tilfældig udvalgt medarbejder ankommer efter 8.3? P(X > 3) = 1-punif(3,,3) [1] DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55 Skrivemåde: X N(µ,σ 2 ) Tæthedsfunktion: f () = 1 ( µ)2 σ e 2σ 2 2π Middelværdi: µ = µ Taethed, f() Normalfordeling Varians: σ 2 = σ DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55

7 Sammenligning af to normalfordelinger med forskellig middelvardi og ens varians Sammenligning af tre normalfordelinger med ens middelvardi og forskellig varians.45.4 N(,1 2 ) N(5,1 2 ) Taethed, f() DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55 Eksempel 2 En standard normalfordeling: Z N(,1 2 ) En normalfordeling med middelværdi og varians 1. Standardisering: En vilkårlig normalfordelt variabel X N(µ,σ 2 ) kan standardiseres ved at beregne Z = X µ σ Målefejl: En vægt har en målefejl, Z, der kan beskrives ved en standard normalfordeling, dvs Z N(,1 2 ) dvs. middelværdi µ = og spredning σ = 1 gram. Vi måler nu vægten af ét emne Spørgsmål a): Hvad er sandsynligheden for at vægten måler mere end 2 gram for lidt? DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55

8 Eksempel 2 Eksempel 2 Hvad er sandsynligheden for at vægten måler mindst 2 gram for meget? dnorm(z) P(Z 2) = z P(Z 2) = 1 P(Z < 2) = pnorm(2) [1].23 dnorm(z) pnorm(-2) [1].23 z DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55 Eksempel 2 Eksempel 3 Hvad er sandsynligheden for at vægten måler mere end ±1 gram forkert? A: pnorm(1) - pnorm(-1) B: 2*pnorm(-1) C: 2*pnorm(1) D: Ved ikke Svar B: P(Z 1 Z > 1) = P(Z 1) + P(Z > 1) = 2P(Z 1) =.32 Indkomstfordeling: Det antages, at blandt en gruppe lærere i folkeskolen, at lønnen kan beskrives ved en normalfordeling med middelværdi µ = 28. og spredning σ = 1.. Hvad er sandsynligheden for at en tilfældig udvalgt lærer tjener mere end 3.? A: P(Z > ) B: P(Z > 3) C: P(Z > 28 1 ) D: Ved ikke 2*pnorm(-1) [1].32 dnorm(z) P(X > 3) = P(Z > ) = P(Z > 2) =.23 X N(3,1 2 ) Z = X 28 1 N(,1 2 ) z DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55

9 Eksempel 3 Eksempel 4 Indkomstfordeling: Det antages, at blandt en gruppe lærere i folkeskolen, at lønnen kan beskrives ved en normalfordeling med middelværdi µ = 28. og spredning σ = 1.. Hvad er sandsynligheden for at en tilfældig udvalgt lærer tjener mere end 3.? 1-pnorm((3-28)/1) Ny indkomstfordeling Det antages, at blandt en gruppe lærere i folkeskolen, at lønnen kan beskrives ved en normalfordeling med middelværdi µ = 29. og spredning σ = 4. Omvendt spørgsmål Angiv det interval, der dækker over 95% af læreres løn qnorm(.25, mean = 29, sd = 4) [1].23 1-pnorm(3, mean = 28, sd = 1) dnorm(z) [1] qnorm(.975, mean = 29, sd = 4) [1].23 z [1] DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55 Log-Normal fordelingen Log-Normal fordelingen Log- Log-normal fordelingen Skrivemåde: X LN(α,β 2 ) (Hvis X følger log-normal så følger log(x) normal).25 Log Normalfordeling LN(1,1) Tæthedsfunktion:.2 LN(1,1) Middelværdi: µ = e α+β 2 /2 f () = { 1 2πβ e (ln() α)2 /2β 2 >, β > ellers Taethed, f().15.1 Varians: σ 2 = e 2α+β 2 (e β 2 1) DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55

10 Log-normal fordelingen Log-Normal fordelingen Lognormal og : En log-normal fordelt variabel Y LN(α,β 2 ), kan transformeres til en standard normalfordelt variabel X ved dvs. X = ln(y) α β X N(,1 2 ) Skrivemåde: X Ep(λ) Tæthedsfunktionen Middelværdi µ = 1 λ { λe λ > f () = ellers Varians σ 2 = 1 λ 2 DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55 Eksponential fordeling med β=1 1.8 EXP(1) er et special tilfælde af Gammafordelingen Taethed, f().6.4 anvendes f.eks. til at beskrive levetider og ventetider kan bruges til at beskrive (vente)tiden mellem hændelser i poissonproces DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55

11 Sammenhæng mellem eksponential- og poissonfordelingen Eksempel 5 Eksempel 5 t 1 t 2 Poisson: Diskrete hændelser pr. enhed Eksponential: Kontinuert afstand mellem hændelser Kø-model - poissonproces Tiden mellem kundeankomster på et posthus er eksponentialfordelt med middelværdi µ = 2 minutter. En kunde er netop ankommet. Hvad er sandsynligheden for at der ikke kommer flere kunder indefor en periode på 2 minutter? tid t 1-pep(2, rate = 1/2) [1].37 DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55 Eksempel 6 Eksempel 6 Eksempel 7 Eksempel 7 En kunde er netop ankommet. Beregn sandsynligheden for at der ikke kommer flere kunder indefor en periode på 2 minutter vha. poissonfordelingen λ 2min = 1, P(X = ) = e 1 1! 1 = e 1 dpois(,1) [1].37 ep(-1) [1].37 Andre tidsperioder: Tiden mellem kundeankomster på et posthus er eksponentialfordelt med middelværdi µ = 2 minutter. Vi betragter nu en periode på 1 minutter Beregn sandsynligheden for at der ikke kommer nogen kunder i perioden vha. poissonfordelingen λ 1min = 5, P(X = ) = e 5 1! 5 = e 5 dpois(,5) [1].67 DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55

12 Regneregler for stokastiske variable Regneregler for stokastiske variable Eksempel 8 Regneregler for stokastiske variable Eksempel 8 (Gælder BÅDE kontinuert og diskret) X er en stokastisk variabel Vi antager at a og b er konstanter. Da gælder: Middelværdi-regel: E(aX + b) = ae(x) + b X er en stokastisk variabel En stokastisk variabel X har middelværdi 4 og varians 6. Beregn middelværdi og varians for Y = 3X + 2 Varians-regel: Var(aX + b) = a 2 Var(X) E(Y) = 3E(X) + 2 = = 1 Var(Y) = ( 3) 2 Var(X) = 9 6 = 54 DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55 Regneregler for stokastiske variable Eksempel 8 Regneregler for stokastiske variable Eksempel 9 Regneregler for stokastiske variable Eksempel 9 X 1,...,X n er stokastiske variable Da gælder (når de er uafhængige): Middelværdi-regel: E(a 1 X 1 + a 2 X a n X n ) = a 1 E(X 1 ) + a 2 E(X 2 ) a n E(X n ) Varians-regel: Var(a 1 X 1 + a 2 X a n X n ) = a 2 1 Var(X 1) a 2 nvar(x n ) Flypassager-planlægning Vægten af passagerer på en flystrækning antages normalfordelt X N(7,1 2 ). Et fly, der kan tage 55 passagerer, må ma. lastes med 4 kg (kun passageres vægt betragtes som last). Beregn sandsynligheden for at flyet bliver overlastet Hvad er Y=Total passagervægt? Hvad er Y? I hvert fald IKKE: Y = 55 X!!!!!! DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55

13 Eksempel 9 Regneregler for stokastiske variable Eksempel 9 Regneregler for stokastiske variable Eksempel 9 Eksempel 9 - FORKERT ANALYSE Hvad er Y=Total passagervægt? Y = 55 i=1 X i, hvor X i N(7,1 2 ) Middelværdi og varians for Y: E(Y) = Var(Y) = Bruger normalfordeling for Y: 55 i=1 55 i=1 E(X i ) = Var(X i ) = 55 i=1 55 i=1 1-pnorm(4, mean = 385, sd = sqrt(55)) [1].22 7 = 55 7 = = 55 1 = 55 Hvad er Y? I hvert fald IKKE: Y = 55 X!!!!!! Middelværdi og varians for Y: E(Y) = 55 7 = 385 Var(Y) = 55 2 Var(X) = = 55 2 Bruger normalfordeling for Y: 1-pnorm(4, mean = 385, sd = 55) [1].39 Konsekvens af forkert beregning: MANGE spildte penge for flyselskabet!!! DTU Compute Introduktion til Statistik Efterår / 55 DTU Compute Introduktion til Statistik Efterår / 55 Oversigt Regneregler for stokastiske variable Eksempel 9 1 Tæthedsfunktion Fordelingsfunktion Middelværdi af en kontinuert stokastisk variabel Varians af en kontinuert stokastisk variabel 2 Kontinuerte fordelinger i R Eksempel 1 Eksempel 2 Eksempel 3 Eksempel 4 Log-Normal fordelingen 3 Eksempel 5 Eksempel 6 Eksempel 7 4 Regneregler for stokastiske variable Eksempel 8 Eksempel 9 DTU Compute Introduktion til Statistik Efterår / 55