Karakteristiske funktioner og Den Centrale Grænseværdisætning

Transkript

1 E6 efterår 1999 Notat 10 Jørgen Larsen 20. oktober 1999 Karakteristiske funktioner og Den Centrale Grænseværdisætning Karakteristiske funktioner som er nære slægtninge til Fourier-transformationen) er et stykke matematisk teknologi der gør en del operationer på stokastiske variable/sandsynlighedsfordelinger særdeles nemme. I dette notat præsenterer vi de karakteristiske funktioner og benytter dem til at bevise Den Centrale Grænseværdisætning for uafhængige identisk fordelte variable. 1 Karakteristiske funktioner Lad X være en reel stokastisk variabel og lad t være et reelt tal. Da den komplekse stokastiske variabel e itx cos X + i sin X er begrænset fordi e itx 1), har den en middelværdi. Følgende definition er derfor meningsfuld: Definition 1 Karakteristisk funktion) Den karakteristiske funktion for den stokastiske variabel X eller for fordelingen af X) er funktionen ϕ X t) E e itx, t R. Tabel 1 og 2 viser eksempler på karakteristiske funktioner. Her er nogle simple egenskaber ved karakteristiske funktioner: Sætning 1 1. ϕ X t) 1, 2. ϕ X 0) 1, 3. ϕ X t) ϕ X t), 4. ϕ ax+b t) e itb ϕ X at) når a og b er reelle konstanter, 5. ϕ X er ligeligt kontinuert. Bevis Ad 1: Da e itx 1, er Ee itx E e itx 1. Ad 5: Der gælder følgende vurdering: ϕ X t + h) ϕ X t) E e it+h)x E e itx E e itx e ihx 1) E e itx e ihx 1) E e ihx 1. Det sidste udtryk går mod 0 når h 0 Sætning 10). Ulighedstegnet her er måske ikke helt så uskyldigt som det ser ud, da der er tale om middelværdier af komplekse funktioner.

2 Karakteristiske funktioner og Den Centrale Grænseværdisætning Side 2 af 9 Det er ganske nemt at finde den karakteristiske funktion for en sum af uafhængige variable, man multiplicerer blot de karakteristiske funktioner: Sætning 2 Hvis X 1 og X 2 er uafhængige, så er ϕ X1 +X 2 ϕ X1 ϕ X2. Bevis Når X 1 og X 2 er uafhængige, er e itx 1 og e itx 2 det også, og derfor er E e itx 1+X 2 ) Ee itx 1 e itx 2) E e itx 1 E e itx 2. Eksempel 1 den karakteristiske funktion for binomialfordelingen) Hvis X er en 01-variabel med p PX 1), så har X karakteristisk funktion ϕ X t) E e itx 1 p) + pe it. Hvis X 1, X 2,..., X n er uafhængige identisk fordelte 01- variable med parameter p, så er Y X 1 + X X n binomialfordelt med parametre n og p, og ifølge Sætning 2 har Y karakteristisk funktion ϕ Y t) 1 p) + pe it) n. Det kan være mere eller mindre kompliceret at finde den karakteristiske funktion for en bestemt fordeling. For visse diskrete fordelinger kan man udnytte rækkeudviklingen af nogle funktioner af en kompleks variabel: Eksempel 2 den karakteristiske funktion for Poissonfordelingen) For ethvert komplekst tal z er e z n0 z n n!. Derfor er den karakteristiske funktion for Poissonfordelingen med parameter µ E e itx e itx PX x) x0 itx µx e x0 x! e µ µe it ) x e µ x0 x! expµe it 1)). Eksempel 3 den karakteristiske funktion for den negative binomialfordeling) Lad k være et positivt reelt tal. For ethvert komplekst tal z med z < 1 er 1 z) k kk + 1)k + 2)... k + n 1) n0 n! ) n + k 1 z n. n0 n Derfor er den karakteristiske funktion for den negative binomialfordeling med parametre k og p E e itx e itn PX n) n0 Her bruger vi at der også for komplekse uafhængige stokastiske variable gælder at middelværdien af deres produkt er lig produktet af middelværdierne. z n

3 Karakteristiske funktioner og Den Centrale Grænseværdisætning Side 3 af 9 Tabel 1 Nogle diskrete fordelinger og deres karakteristiske funktioner fordeling sandsynlighedsfkt. karakteristisk fkt. etpunktsfordelingen i x b ) n binomial p x 1 p) n x 1 p) + pe it) n x ) x + k 1 negativ binomial p k 1 p) x p k 1 1 p)e it) k x Poisson logaritmisk µ x e ibt x! e µ expµe it 1)) 1 1 p) x ln1 1 p)e it ) x ) e itn n + k 1 p k 1 p) n n0 n p k ) n + k 1 1 p)e it) n n0 n p k 1 1 p)e it) k. Eksempel 4 den karakteristiske funktion for den logaritmiske fordeling) For ethvert komplekst tal z med z < 1 er ln1 z) n1 Derfor er den karakteristiske funktion for den logaritmiske fordeling med parameter p E e itx n1 e itn 1 n1 1 e itn PX n) n1 z n n. 1 p) n n 1 p)e it ) n n ln1 1 p)eit ) Som navnet antyder, er den karakteristiske funktion karakteristisk for fordelingen, idet der gælder Sætning 3 Entydighedssætningen) Hvis to sandsynlighedsfordelinger er forskellige, så er deres karakteristiske funktioner også forskellige..

4 Karakteristiske funktioner og Den Centrale Grænseværdisætning Side 4 af 9 Tabel 2 Nogle kontinuerte fordelinger og deres karakteristiske funktioner fordeling tæthedsfunktion karakteristisk fkt. eksponential λe λx x > 0) 1 it/λ) 1 gamma normal Cauchy λ k Γk) xk 1 e λx x > 0) 1 it/λ) k 1 exp 1 x µ) 2 ) 2πσ 2 2 expiµt 2 1σ 2 t 2 ) 1 π1 + x 2 ) σ 2 e t Eller sagt på en anden måde: Hvis de stokastiske variable X og Y har samme karakteristiske funktion, så har X og Y også samme fordeling. Entydighedssætningen er en direkte konsekvens af den følgende sætning der giver en anvisning på hvordan man i princippet kan komme fra den karakteristiske funktion tilbage til sandsynlighedsfordelingen. Sætning 4 Inversionsformlen) Antag at den stokastiske variabel X har karakteristisk funktion ϕ X. Da gælder at grænseværdien lim T + 1 T 2π T e ita e itb it ϕ X t) dt eksisterer og er lig med 1 2 PX a) + Pa < X < b) PX b). Vi udelader beviset, som er teknisk og næppe umiddelbart vil bidrage specielt meget til sætningens forståelse. Eksempel 5 sammensat Poissonfordeling) Vi kan nu bevise påstanden i Notat 8 Afsnit om at en sum Y X 1 + X X N af et Poissonfordelt antal uafhængige logaritmisk fordelte størrelser er negativt binomialfordelt: Hvis X-erne er uafhængige logaritmisk fordelte med karakteristisk funktion ϕ X t) ln1 1 p)eit ), og hvis N er Poissonfordelt med parameter µ, så er den karakteristiske funktion for Y X 1 + X X N ϕ Y t) E e ity [iflg. DeGrooth p.220 Th.1] E E e ity N) [iflg. Sætning 2] E ϕ X t) N)

5 Karakteristiske funktioner og Den Centrale Grænseværdisætning Side 5 af 9 ) n ln1 1 p)e it ) µ n n0 n! e µ 1 1 p)e it) µ/) p k 1 1 p)e it) k hvor k µ/). Heraf ses at ϕ Y er den karakteristiske funktion for en negativ binomialfordeling med formparameter k og sandsynlighedsparameter p, og ifølge entydighedssætningen kan vi deraf slutte at Y så også rent faktisk har denne fordeling. e µ Den karakteristiske funktion indeholder al information om fordelingen, specielt også om fordelingens middelværdi og øvrige momenter det k-te moment i fordelingen af X er pr. definition E X k. Lad os forsøgsvis tage en karakteristisk funktion og i al uskyldighed differentiere k gange under middelværditegnet: og så sætte t 0: ϕ k) dk X t) E e itx dt k E dk dt k e itx EiX) k e itx ϕ k) X 0) EiX)k i k E X k så man kunne formode at man kan udregne E X k som i) k ϕ k) X 0). Ovenstående ræsonnement kan finpudses man skal bl.a. bruge Sætning 10) så man opnår følgende Sætning 5 Lad X være en stokastisk variabel med karakteristisk funktion ϕ X. Der gælder at E X k eksisterer hvis og kun hvis ϕ X er k gange kontinuert differentiabel k N), og i givet fald er E X k i) k ϕ k) X 0). Fordelen ved dette resultat er at når man først har fundet den karakteristiske funktion, så er det uhyre nemt at finde de forskellige momenter, fordi differentiation er en»nem«operation: man behøver ikke tænke, man skal bare følge reglerne omhyggeligt. Bagsiden af medaljen er at det ikke altid er så ligetil at finde den karakteristiske funktion. Eksempel 6 Cauchy-fordelingen har ingen middelværdi, og den karakteristiske funktion er da heller ikke differentiabel i 0 og det er nok at der bare er et enkelt punkt hvor den ikke er differentiabel).

6 Karakteristiske funktioner og Den Centrale Grænseværdisætning Side 6 af 9 Eksempel 7 Lad os finde middelværdi og varians af en gammafordelt stokastisk variabel X. Den karakteristiske funktion er jf. Tabel 2) De to første afledede er Deraf fås uden videre at ϕ X t) ϕ X t) ik λ ϕ X t) i2 kk + 1) λ 2 1 it λ ) k. 1 it λ ) k 1, E X iϕ X 0) k/λ 1 it λ ) k 2. og Var X E X 2 E X) 2 i) 2 ϕ X 0) k λ k/λ 2. ) 2 2 Svag konvergens nσ 2 Den Centrale Grænseværdisætning Sætning 8) handler om at hvis S n X 1 + X X n er en sum af uafhængige identisk fordelte variable med middelværdi ) µ og varians σ 2, så kan man approksimere sandsynligheden P Sn nµ x med Φx) hvor Φ er fordelingsfunktionen for standardnormalfordelingen. Der er tale om at fordelingen af S n nµ i en vis bestemt forstand nσ 2 konvergerer mod standardnormalfordelingen. Den form for konvergens der er tale om, er den såkaldte svage konvergens. Definition 2 Svag konvergens) En følge F 1, F 2, F 3,... af fordelingsfunktioner siges at konvergere svagt mod fordelingsfunktionen F hvis der for ethvert kontinuitetspunkt x for F gælder at F n x) n F x). Ofte udtrykker man sig ved hjælp af stokastiske variable i stedet for fordelingsfunktioner. I det matematiske stenografisprog skriver man tit LX) som forkortelse for»fordelingen af X«. Glyffen L er et L som i Lov; engang omtalte man sandsynlighedsfordelinger som fordelingslove.) Eksempel 8 Hvis X n er ligefordelt på { 1 n, 2 n,..., n n }, så konvergerer LX n) svagt mod ligefordelingen på intervallet [0, 1].

7 Karakteristiske funktioner og Den Centrale Grænseværdisætning Side 7 af 9 Eksempel 9 Hvis X n er normalfordelt med middelværdi µ og varians 1/n, så konvergerer LX n ) svagt mod etpunktsfordelingen i µ. Der findes en god del interessant og underholdende matematik omkring svag konvergens af sandsynlighedsfordelinger, blandt andet kan man finde en metrik der svarer til denne form for konvergens. Det vil vi dog ikke komme ind på i nærværende tekst, hvor vi indskrænker os til at referere to sæt nødvendige og tilstrækkelige betingelser for svag konvergens. Sætning 6 Lad X 1, X 2, X 3,..., X være stokastiske variable. Fordelingerne LX n ) konvergerer svagt mod LX ) hvis og kun hvis der for enhver kontinuert og begrænset reel funktion f gælder at talfølgen E f X n ) konvergerer mod E f X ). Den næste sætning siger at svag konvergens af sandsynlighedsfordelinger stort set er det samme som punktvis konvergens af de karakteristiske funktioner. Sætning 7 Kontinuitetssætningen) Lad X 1, X 2, X 3,..., X være stokastiske variable. 1. Hvis følgen LX n ) konvergerer svagt mod LX ), så vil de karakteristiske funktioner konvergere punktvis: E e itx n E eitx for alle t R. n 2. Hvis følgen af karakteristiske funktioner E e itx n konvergerer punktvis for ethvert t R mod en funktion ϕ t), og hvis ϕ er kontinuert i 0, så har følgen LX n ) en grænseværdi, dvs. der findes en stokastisk variabel X sådan at LX n ) konvergerer svagt mod LX ), og den karakteristiske funktion for X er ϕ. Eksempel 10 Diskret og kontinuert ventetid) Den negative binomialfordeling og gammafordelingen er blevet introduceret som ventetidsfordelinger i hhv. diskret og kontinuert tid. Nu kunne man forestille sig at diskret tid med meget små tidsskridt var næsten det samme som kontinuert tid. Det fører til følgende problem: Lad X n være negativt binomialfordelt med formparameter k > 0 og sandsynlighedsparameter p n og lad os se på fordelingen af X n /n når n og np n λ hvor λ ]0, +[; dette svarer til at de små tidsskridt har længde 1/n og at sandsynligheden for den ventede begivenheds optræden i et infinitesimalt tidsinterval er proportionalt med dettes længde λ er proportionalitetsfaktoren). Den karakteristiske funktion for X n /n er p k n1 1 p n )e it/n ) k, og man kan ret let overbevise sig om at når n, vil dette konvergere mod 1 it/λ) k. Grænsefunktionen er den karakteristiske funktion for gammafordelingen med formparameter k og reciprok skalaparameter λ. Altså konvergerer LX n /n) svagt mod denne gammafordeling.

8 Karakteristiske funktioner og Den Centrale Grænseværdisætning Side 8 af 9 3 Den Centrale Grænseværdisætning Den Centrale Grænseværdisætning findes i flere forskellige udgaver af forskellig generalitet. Her»nøjes«vi med en simpel udgave med et simpelt bevis. Sætning 8 Den Centrale Grænseværdisætning) Lad X 1, X 2, X 3,... være en følge af uafhængige identisk fordelte stokastiske variable med middelværdi µ og varians σ 2 hvor 0 < σ 2 < +), og sæt S n X 1 + X X n. Så gælder at fordelingen af S n nµ nσ 2 konvergerer svagt mod standardnormalfordelingen. Bevis Først noterer vi at da S n nµ nσ 2 n j1 Xj ) µ 0 σ 2 n og da størrelserne X j µ σ 2 har middelværdi 0 og varians 1, er det nok hvis vi kan vise sætningen i tilfældet µ 0, σ 2 1. Antag derfor at µ 0 og σ 2 1. Det skal vises at S n / n konvergerer svagt mod standardnormalfordelingen. Vi kalder den karakteristiske funktion for X-ernes fordeling for ϕ og den karakteristiske funktion for S n / n for ϕ n. Ifølge Sætning 1 pkt. 4 og Sætning 2 n. er ϕ n t) ϕ t n )) Vi skal finde ud af hvordan ϕn t) opfører sig når n for fast t). Udtrykket for ϕ n t) antyder at det måske er nemmere at se på lnϕ n t), så det gør vi. Vi rækkeudvikler lnϕ omkring 0 og benytter at ϕ0) 1 Sætning 1 pkt. 2) og at ϕ 0) i E X 0 og ϕ 0) i 2 E X 2 VarX) 1 Sætning 5): lnϕ t n ) lnϕ0) + lnϕ) 0) t n lnϕ) 0) t2 n + o t2 n ) t2 2n + o 1 n ) hvor o n 1 ) står for en størrelse der går hurtigere mod 0 end n 1 når n ). Heraf fås at eller sagt på en anden måde: og derfor lnϕ n t) n lnϕ t n ) 1 2 t2 + o1) lim n lnϕt) 1 2 t2 lim ϕt) exp 1 n 2 t2 ).

9 Karakteristiske funktioner og Den Centrale Grænseværdisætning Side 9 af 9 Dette gælder for ethvert reelt tal t. Højresiden i denne ligning genkender vi som den karakteristiske funktion for normalfordelingen med middelværdi 0 og varians 1, og ifølge kontinuitetssætningen Sætning 7) konvergerer S n / n derfor svagt mod denne normalfordeling. Bemærkninger: Adjektivet»central«i Den Centrale Grænseværdisætning henviser til at summerne er centrale, dvs. man har trukket middelværdien fra. Den Centrale Grænseværdisætning spiller i øvrigt en overordentlig central!) rolle. A Konvergenssætninger for integraler Hvis funktionsfølgen f 1, f 2, f 3,... konvergerer punktvis mod en funktion f, og hvis X er en stokastisk variabel, er det så rigtigt at E f n X) konvergerer mod E f X)? Der gælder forskellige sætninger om hvornår man kan gå til grænsen under integraltegnet/middelværditegnet. Bemærk at disse sætninger ikke er rigtige for Riemann-integraler.) Sætning 9 Monoton konvergens) Hvis P 0 f n X) f X) ) 1, så gælder at E f n X) E f X). Sætning 10 Majoriseret konvergens) ) Hvis P f n X) f X) 1, og hvis der findes en ikke-negativ reel n stokastisk variabel Y med E Y < + sådan at P f n X) Y) 1 for alle n, så gælder at E f n X) E f X).