af om en given kombination af binomialkoefficienter svarer til en stor eller en lille sandsynlighed.

Transkript

1 Kapitel 22 Svag konvergens I første halvdel af 1700-tallet var stort set al sandsynlighedsregning af kombinatorisk natur. Hovedværker fra perioden er Abraham de Moivres The octrine of Chances; or, a Method for Calculating the Probabilities of Events in Play (første udgave 1718, adskillige senere kraftigt udvidede versioner), der løser et hav af problemer om hvor ofte forskellige situationer opstår i konkrete spil. Et typisk eksempel på de problemer de Moivre arbejdede med, er at finde sandsynligheden for at få mindst to seksere i løbet af otte kast med en terning. I den type problemer involverer svarene uvægerligt binomialkoefficienter. et volder ingen vanskeligheder at få mening i formlerne, så længe problemerne er små. Men binomialkoefficienter vokser ekstremt hurtigt med problemstørrelsen, og de tilgængelige tabeller slipper snart op. et kan være umådeligt vanskeligt at få en fornemmelse af om en given kombination af binomialkoefficienter svarer til en stor eller en lille sandsynlighed. I øvrigt fører regningerne også til hvad vi i dag ville kalde numeriske problemer: det typiske problem har en løsning, der er en sum, hvor hvert led er et produkt af en kæmpestor faktor (typisk en binomialkoefficient) og en lillebitte faktor (nogle sandsynligheder ophøjet til store potenser). Sådanne summer er vanskelige at finde, fordi man ikke kan give køb på nøjagtigheden nogen steder i udregningerne: det er ikke til at vide, hvor de vigtige bidrag kommer fra. e Moivre satte sig (i samarbejde og konkurrence med Stirling) for at finde approksimative udtryk for de sandsynlighedsudtryk, der skulle summeres. Målet var selvføl- 474

2 475 gelig at disse approksimationer skulle kunne udregnes umiddelbart, uden at involvere binomialkoefficienter. Resultatet er den såkaldte Stirlings formel. Vi tænker normalt på denne formel som en asymptotisk udvikling af fakultetsfunktionen (eller mere generelt af Γ-funktionen), men den primære ide bag formlen er at styre binomialsandsynligheder. e Moivre viste at hvis X 1, X 2,... er uafhængige stokastiske variable med P(X i = 1) = 1 2, P(X i = 0) = 1 2, og hvis vi sætter så vil k n (x) = [ n/2 + x n/4 ] n 2 P X i = k n (x) /2 n π e x2. i=1 enne påstand (eller i hvert fald en der er meget tæt beslægtet) er medtaget i udgaven af The octrine of Chances, lige som tilsvarende formler for asymmetriske binomialsandsynligheder. Efter lidt armbevægelser fører de til den første version af hvad der siden er blevet kendt som den centrale grænseværdisætning, P ( a ni=1 X i n/2 n/4 ) b 1 b e x2 /2 dx. (22.1) 2π Når vi taler om den centrale grænseværdisætning, er det næsten klart at vi opfatter det som en dyb, metafysisk påstand. Navnet bliver ganske vist ofte overfortolket: valget af ordet central skyldes ikke så meget vigtigheden af resultatet, men det forhold, at det er et udsagn om midten af fordelingen fremfor om halerne. Men overfortolkningen er alligevel ikke helt ved siden af - resultatet er af fundamental betydning. e Moivre så næppe noget metafysisk i den formel, han havde udledt. For ham var det bare en approksimation som så mange andre. Han var formentlig det første menneske i historien, der så på integralet på højre side af (22.1), og han forbandt intet med det. Ordet normalfordeling er en langt senere opfindelse, og de Moivre indså end ikke at der er en sandsynlighedsfordeling involveret - Laplace viste 50 år senere at normeringen er rigtig. For at forstå de Moivres vanskeligheder, skal man måske være opmærksom på et symbolerne e og π ikke var i brug på hans tid, han måtte repræsentere disse størrelser på mere tilfældige måder. Ganske mange mennesker arbejdede videre på de Moivres ideer, men succesen var i lang tid begrænset: essentielt kunne man ikke få approksimationsargumenterne til at virke for andet end binomialfordelinger. en første der for alvor fik hul på bylden var a

3 476 Kapitel 22. Svag konvergens Laplace, som i 1782 kunne gennemføre tilsvarende approksimationer for summer af variable, der antog tre værdier! et gjorde han ved hjælp af nogle umådeligt trickede substitutionsargumenter, hvor han oversatte alt til integraler involverende komplekse eksponentialfunktioner. Hans ideer svarer ganske nøje til hvad vi i dag kalder karakteristiske funktioner. et overraskende var at han fik samme type approksimerende integraler som i binomialtilfældet. Og her begynder det metafysiske princip at tage form: fordelingen af en sum af stokastiske variable afhænger stort set ikke af fordelingen af de enkelte variable! et lykkedes Laplace at give ganske generelle beviser for den centrale grænseværdisætning, hvor de indgående variable er uafhængige og identisk fordelte, alt sammen ved hjælp af karakteristiske funktioner. Gauss tog få år senere udgangspunkt i normalfordelingen i sin teori for målefejl, og siden har normalfordelingen været hjørnestenen i al statistik. I slutningen af 1800-tallet begyndte Chebyshev og hans elever (især Markov og Lyapounov) at spekulere over hvad det egentlig er der foregår i den centrale grænseværdisætning. et viser sig at der er nogle subtile forskelle mellem konvergens af fordelingsfunktioner (der essentielt er indholdet af de Moivres sætning) og konvergens af karakteristiske funktioner (hvilket siden Laplaces tid var nøglen i alle beviser). e udviklede en egentlig teori for konvergens af sandsynlighedsmål. enne teori har indbyggede vanskeligheder, fordi de intuitive begreber viser sig mindre smidige at arbejde med end nogle mere tekniske varianter Konvergens af mål efinition 22.1 En følge af sandsynlighedsmål ν 1, ν 2,... på (R k, B k ) konvergerer svagt mod et grænsesandsynlighedsmål ν, hvis f (x) dν n (x) = f (x) dν(x) for alle f C b (R k ). (22.2) lim n en kortfattede formelmæssige notation er ν n wk ν for n. enne definition af svag konvergens glimrer næppe ved sin intuitive klarhed. Men for ethvert fast θ R k ser vi at x cos(θ T x) og x sin(θ T x)

4 22.1. Konvergens af mål 477 er C b (R k )-funktioner. Hvis vi lader φ 1, φ 2,... og φ være de tilhørende karakteristiske funktioner, vil (22.2) derfor medføre at φ n (θ) = cos(θ T x) dν n (x) + i sin(θ T x) dν n (x) cos(θ T x) dν(x) + i sin(θ T x) dν(x) = φ(θ) for ethvert fast θ R k. Svag konvergens medfører altså punktvis konvergens af de karakteristiske funktioner. et er ikke indlysende, men den modsatte implikation gælder også: punktvis konvergens af karakteristiske funktioner medfører svag konvergens. et vil blive vist efter alle kunstens regler i afsnit et er konvergens af karakteristiske funktioner, der har vores hovedinteresse. Alligevel er der tradition for at bruge definition 22.1, der altså kun indirekte repræsenterer det vi ønsker. et skyldes formentlig at man på den måde hurtigere kan give eksempler, der demonstrerer rækkevidden af begrebet, end man kan hvis man tager direkte fat i konvergens af karakteristiske funktioner. Eksempel 22.2 Lad x 1, x 2,... og x være punkter i R k, og betragt de tilhørende etpunktsmål, ɛ x1, ɛ xn... og ɛ x. Hvis x n x for n, så vil ɛ xn ɛ x. For hvis f er wk en kontinuert begrænset funktion, har vi at f dɛ xn = f (x n ) f (x) = f dɛ x for n. Man kan uden stort besvær vise den modsatte implikation: hvis etpunktsmålene konvergerer svagt, så må punktfølgen konvergere i klassisk geometrisk forstand. Man kan f.eks. lade K være en lille kompakt kasse, indeholdende x, og lade V være en lidt større åben kasse. Hvis f er en bumpfunktion, der opfylder at K f V, så vil f dɛ xn f dɛ x = 1 for n, og da f dɛ xn 1 V (x n ) kan vi slutte at x n V fra et vist trin. Eksempel 22.3 På det målbare rum (R, B) lader vi ν n være det empiriske mål i punkterne 0, 1 n, 2 n,..., n 1 n. Hvis f er en begrænset kontinuert funktion, ser vi at f dν n = 1 n ( ) i 1 f. n n i=1

5 478 Kapitel 22. Svag konvergens Hvis vi sætter ser vi at f (0) f ( ) 1 n f (x) =. f ( ) n 1 n f dν n = 1 0 for x [ ) 0, 1 n for x [ 1 n, ) 2 n. for x [ n 1 n, 1) f n (x) dm(x). Kontinuiteten af f sikrer at f n (x) f (x) for alle x [0, 1), og denne konvergens er majoriseret af f. Majorantsætningen fortæller os derfor at f dν n 1 0 f (x) dm(x) for n. Så vi konstaterer at ν n konvergerer svagt mod ligefordelingen på enhedsintervallet. Bemærk at alle målene ν n i eksempel 22.3 er rent diskrete, mens grænsemålet er rent kontinuert. Omvendt skal vi senere se at man sagtens kan få en følge af kontinuerte mål til at konvergere svagt mod et diskret grænsemål, f.eks. mod et etpunktsmål. Så inden for rammerne af svag konvergens er den sædvanlige sondring mellem kontinuerte og diskrete sandsynlighedsmål er ikke så naturlig som den plejer at være. Men der er selvfølgelig stadig et vist samspil mellem begreberne: Lemma 22.4 (Scheffé) Lad ν 1, ν 2,... og ν være sandsynlighedsmål på (R k, B k ). Antag at ν n = f n µ for alle n og at ν = f µ for et passende grundmål µ. Hvis så vil ν n wk ν. lim f n(x) = f (x) for µ-næsten alle x, n BEVIS: Her er tale om et regulært trick. Vi viser at den punktvise konvergens af tæthederne medfører at tæthederne konvergerer i L 1 -forstand, altså at f n f dµ 0 for n.

6 22.1. Konvergens af mål 479 a g C b (R k ) er begrænset af g ser vi nemlig heraf at g dν n g dν = g f n g f dµ g f n f dµ 0, og den ønskede svage konvergens følger. et er ikke i almindelighed rigtigt at punktvis konvergens medfører konvergens i L 1 -forstand - der er behov for en majorisering af en art. Men lige præcis for sandsynlighedstætheder kan man snyde sig uden om dette behov. Man gør følgende snedige observation: for alle x gælder at ( f n f ) (x) = max { ( f n (x) f (x) ), 0 } = max{ f (x) f n (x), 0} f (x) a x max{ x, 0} er en kontinuert funktion, ser vi at ( f n f ) konvergerer punktvist næsten sikkert mod nul. Vi har lige konstateret at denne konvergens foregår majoriseret af den integrable funktion f, så majorantsætningen lader os slutte at ( f n f ) dµ 0 for n. Næste snedige observation er at eftersom ν n og ν begge har total masse 1, må 0 = f n dµ f dµ = f n f dµ = ( f n f ) + dµ ( f n f ) dµ. erfor har vi at f n f dµ = ( f n f ) + dµ + ( f n f ) dµ = 2 ( f n f ) dµ 0, præcis som ønsket. Eksempel 22.5 Lad ν n = N(ξ n, σ n 2 ) være en følge af reelle normalfordelinger. Hvis ξ n 0, σ n 2 1 for n, så vil ν n -målene konvergere svagt mod N(0, 1) ifølge Scheffés lemma. Konvergens af parametrene vil jo medføre at tæthederne konvergerer punktvist. et er ikke vigtigt for ræsonnementet at det lige præcis er standard normalfordelingen, der optræder som grænse. Hvis ξ n ξ, σ n 2 σ 2 for n,

7 480 Kapitel 22. Svag konvergens for et ξ R og et σ 2 > 0, så vil ν n -målene konvergere svagt mod N(ξ, σ 2 ). Vi skal senere se at konklusionen enddog kan opretholdes hvis σ 2 n 0, hvis man ved normalfordelingen med varians 0 forstår etpunktsmålet i middelværdien. Svag konvergens er et begreb, der giver mening for følger af sandsynlighedsmål. Men i anvendelserne er det som regel mere naturligt at formulere sig ved hjælp af stokastiske variable, og det giver anledning til en lidt anden sprogbrug. efinition 22.6 En følge af stokastiske variable X 1, X 2,..., defineret på et fælles baggrundsrum (Ω, F, P) og med værdier i R k, konvergerer i fordeling mod en grænsevariabel X, symbolsk skrevet X n X, hvis de tilhørende billedemål X 1 (P), X 2 (P),... konvergerer svagt mod billedemålet X(P). Ved at bruge integraltransformationssætningen kan vi få en mere direkte måde at formulere konvergens i fordeling på. er gælder at X n X hvis lim n f (X n ) dp = f (X) dp for alle f C b (R k ). Et eventuelt grænsesandsynlighedsmål for svag konvergens er entydigt bestemt - hvis vi et øjeblik forestiller os to grænsemål, kan vi jo se at de må have samme karakteristiske funktion, og dermed være ens. Men forholdene er lidt mere indviklede for konvergens i fordeling. Grænsen er i virkeligheden et sandsynlighedsmål ν på R k, og alle stokastiske variable med dette sandsynlighedsmål som fordeling kan bruges som grænsevariabel. En formulering af de Moivre-Laplaces sætning (22.1) kunne lyde at hvis S n for hvert n er binomialfordelt med længde n og successandsynlighed 1/2, så vil S n n/2 n/4 X hvor X er en N(0, 1)-fordelt variabel. Men grænsevariablen X kan uden videre erstattes af X, eller af en hvilken som helst anden variabel, der blot er standard normalfordelt.

8 22.2. Karakteristiske funktioner og svag konvergens 481 Sætning 22.7 Lad X 1, X 2,... og X være stokastiske variable med værdier i R k, og lad h : R k R m være en kontinuert afbildning. Hvis X n X, så vil h(xn ) h(x). BEVIS: Hvis g : R m R er en kontinuert, begrænset funktion, så vil g h være en kontinuert, begrænset funktion defineret på R k. erfor vil g ( h(x n ) ) dp = g h(x n ) dp g h(x) dp = g ( h(x) ) dp, præcis som ønsket Korollar 22.8 Lad X 1, X 2,... og X være stokastiske variable med værdier i R k, og lad Y 1, Y 2,... og Y være stokastiske variable med værdier i R m. Hvis ( Xn Y n ) ( X Y ) så vil X n X og Yn Y. BEVIS: Anvend sætning 22.7 på de naturlige projektioner R k+m R k og R k+m R m Karakteristiske funktioner og svag konvergens efinition 22.9 En familie (ν i ) i I af sandsynlighedsmål på (R k, B k ) er uniformt tight, hvis der for hvert ɛ > 0 findes en kompakt mængde K så ν i (K) > 1 ɛ for alle i I.

9 482 Kapitel 22. Svag konvergens En familie bestående af et enkelt sandsynlighedsmål ν er automatisk uniformt tight. er gælder jo at [ m, m] k = R k, m=1 så sandsynlighedsmålets kontinuitetsegenskaber sikrer at ν ( [ m, m] k) 1 for m, og disse kasser er naturligvis allesammen kompakte. Et andet trivielt resultat er at hvis vi har to familier, der begge er uniformt tighte, så er foreningen af de to familier også uniformt tight - hvis man til et givet ɛ har en kompakt mængde K 1 til den ene familie og en kompakt mængde K 2 til den anden, så kan man bruge K 1 K 2 til dem begge. Kombineres disse observationer ser vi at enhver endelig familie af sandsynlighedsmål er uniformt tight. e ikke-trivielle forhold opstår i forbindelse med uendelige samlinger af sandsynlighedsmål. Lemma Lad ν 1, ν 2,... og ν være sandsynlighedsmål på (R k, B k ). Hvis ν n wk ν, så er familien ν 1, ν 2,... uniformt tight. BEVIS: Lad ɛ > 0 være givet, og find en kompakt mængde K så µ(k) > 1 ɛ. Vi kan uden indskrænkning antage at K er en kasse af formen [ m, m] k. Lad f være en bumpfunktion, der opfylder at [ m, m] k f ( m 1, m + 1) k. a har vi at f dν n f dν for n, og da f dν ν ( [ m, m] k) > 1 ɛ, ser vi at der findes et N så ( ν ) n [ m 1, m + 1] k f dν n > 1 ɛ for n N. (22.3) Familien ν 1,..., ν N 1 er uniformt tight, så ved om nødvendigt at vælge et større m kan vi sikre at (22.3) også er opfyldt for små n-værdier.

10 22.2. Karakteristiske funktioner og svag konvergens 483 Uniform tightness er altså en nødvendig betingelse for svag konvergens. Når man skal vise svag konvergens gør man det ofte i to trin: først viser man uniform tightness, og dernæst samler man de løse ender og binder en sløjfe. e store udfordringer ligger som regel i det første trin af dette program. Lemma Lad (ν i ) i I være en familie af sandsynlighedsmål på (R k+m, B k+m ). Lad π 1 : R k+m R k og π 2 : R k+m R m være de naturlige projektioner. Hvis de to familier af sandsynlighedsmål ( π1 (ν i ) ) ( i I og π2 (ν i ) ) i I begge er uniformt tighte, så er den oprindelige familien (ν i ) i I uniformt tight. BEVIS: Lad ɛ > 0 være givet. Når ( π 1 (ν i ) ) i I mængde K 1 R k, så er uniformt tight, findes en kompakt ν i (K 1 R m ) = π 1 (ν i )(K 1 ) > 1 ɛ/2 for alle i I. Tilsvarende, når ( π 2 (ν i ) ) i I er uniformt tight, findes en kompakt mængde K 2 R m, så ν i (R k K 2 ) = π 2 (ν i )(K 2 ) > 1 ɛ/2 for alle i I. Eftersom ( K1 K 2 ) c ( K 1 R m)c ( R k K 2 ) c følger det at ν i (( K1 K 2 ) c ) νi (( K1 R m) c ) + ν i (( R k K 2 ) c ) < ɛ for alle i I. a K 1 K 2 er en kompakt delmængde af R k+m følger det ønskede. ette resultat viser problemerne med uniform tightness essentielt er etdimensionale. Man kan se på de marginale fordelinger koordinat for koordinat, og er de alle uniformt tighte, så er den oprindelige familie af sandsynlighedsmål også uniformt tight. Lemma Lad ν 1, ν 2,... og ν være sandsynlighedsmål på den reelle akse (R, B), med karakteristiske funktioner φ 1, φ 2,... og φ. Hvis så er familien ν 1, ν 2,... uniformt tight. lim φ n(θ) = φ(θ) for alle θ R, n

11 484 Kapitel 22. Svag konvergens BEVIS: Grænsefunktionen φ er kontinuert og opfylder at φ(0) = 1. Specielt kan vi for givet ɛ finde et u > 0 så ermed er 1 u u u Majorantsætningen fortæller at 1 u u 1 φ(θ) < ɛ for θ < u (1 φ(θ)) dθ 1 u u(1 φ n (θ)) dθ 1 u u u u u 1 φ(θ) dθ < ɛ. (1 φ(θ)) dθ for n, og da integralerne på grund af den konjugerede symmetri er reelle, ser vi at der findes et N så 1 u (1 φ n (θ)) < ɛ for n N. u u et følger nu af sætning at ([ ν n 2 u, 2 ] c ) < ɛ for n N. u Ved eventuelt at gøre u mindre, kan vi sikre at betingelsen også er opfyldt for de første endeligt mange ν n er. Sætning Lad ν 1, ν 2,... og ν være sandsynlighedsmål på (R k, B k ), med karakteristiske funktioner φ 1, φ 2,... og φ. Hvis så er familien ν 1, ν 2,... uniformt tight. lim φ n(θ) = φ(θ) for alle θ R k,, n BEVIS: Hvis h : R k R m er den lineære afbildning h(x) = Bx for x R k, for en passende m k matrix B, så følger det af sætning at de karakteristiske funktioner ψ n for billedmålene h(ν n ) har formen ψ n (θ) = φ n (B T θ) for θ R m.

12 22.2. Karakteristiske funktioner og svag konvergens 485 Tilsvarende har billedmålet h(ν) karakteristisk funktion ψ(θ) = φ(b T θ) for θ R m. Heraf følger det at ψ n (θ) ψ(θ) for alle θ - vi ser at konvergens af karakteristiske funktioner bliver bevaret når målene udsættes for en lineær transformation. Bruges denne observation på koordinatprojektionerne ˆX 1,..., ˆX k : R k R, givet ved ˆX i x 1. x k = x i for i = 1,..., k, ser vi at de karakteristiske funktioner for de etdimensionale marginale fordelinger ˆX i (ν n ) konvergerer. Ifølge lemma betyder det at familierne ˆX i (ν n ) for hvert fastholdt i udgør en uniformt tight følge af sandsynlighedsmål på den reelle akse. Og kombineres det med lemma 22.11, ser vi at den oprindelige familie ν 1, ν 2,... på R k er uniformt tight. Sætning (Kontinuitetssætningen) Lad ν 1, ν 2,... og ν være sandsynlighedsmål på (R k B k ), med karakteristiske funktioner φ 1, φ 2,... og φ. Hvis lim φ n(θ) = φ(θ) for alle θ R k, n wk så vil ν k ν for n. BEVIS: Vi betragter f C b (R k ). Lad ɛ > 0 være givet. Ifølge sætning er ν 1, ν 2,... uniformt tight, så der findes en passende stor terning [ m, m] k så ( ν ) n [ m, m] k ɛ > 1 for alle n. 2 f + 1 Ved eventuelt at gøre m endnu større, kan vi sikre os at der også gælder at ν ( [ m, m] k) > 1 ɛ 2 f + 1. Korollar lader os finde et generaliseret trigonometrisk polynomium p, så p f + 1 og så sup θ [ m,m] k f (θ) p(θ) ɛ.

13 486 Kapitel 22. Svag konvergens For hvert af de involverede sandsynlighedsmål er f dν n p dν n f p dν n + f p dν n [ m,m] k ([ m,m] k (( c ɛ + (2, f + 1)ν n [ m, m] k ) c ) 2ɛ. En tilsvarende ulighed gælder naturligvis for grænsemålet ν. ermed er f dν n f dν f p dν n + p dν n p dν + f p dν 4ɛ + p dν n p dν en punktvise konvergens af de karakteristiske funktioner medfører at p dν n p dν for n, og derfor ser vi at vi kan vælge N så stor at f dν n f dν 6ɛ for n N. Og det viser den ønskede svage konvergens. er findes en udvidelse af kontinuitetssætningen, der fortæller at blot de karakteristiske funktioner φ n konvergerer punktvist mod en eller anden funktion φ, og hvis denne grænsefunktion er kontinuert i 0, så er φ nødvendigvis den karakteristiske funktion for et sandsynlighedsmål ν - og følgelig må vi have svag konvergens af de bagvedliggende sandsynlighedsmål mod ν. er er mange interessante korollarer af kontinuitetssætningen. Nogle af dem har at gøre med hvor mange funktioner man egentlig behøver at checke betingelse (22.2) efter på for at etablere svag konvergens. A priori skal vi have fat i alle de kontinuerte, begrænsede funktioner, men kontinuitetssætningen tillader en drastisk reduktion - det er nok at checke betingelsen efter for de elementære trigonometriske funktioner. I mange tilfælde er det mest praktisk med en mellemvariant, hvor man checker (22.2) efter for en klasse af funktioner, der indeholder alle de simple trigonometriske funktioner, men som ikke tilnærmelsesvis er hele C b (R k ). et kan være fordi det argument man anvender, ikke har noget særligt at gøre med trigonometriske funktioner,

14 22.2. Karakteristiske funktioner og svag konvergens 487 og at fokusering på sinus og cosinus forplumrer billedet med for mange partikulære detaljer. Ofte brugte klasser af funktioner er de begrænsede, uniformt kontinuerte funktioner og de begrænsede, uendeligt ofte differentiable funktioner. En korollar i en anden retning tillader os at undersøge svag konvergens af en følge af sandsynlighedsmål på R k, ved at undersøge svag konvergens i en række etdimensionale situationer: Sætning (Cramér-Wolds device) Lad X 1, X 2,... og X være stokastiske variable med værdier i R k. Hvis v T X n v T X for alle v R k, så vil X n X. BEVIS: Lad φ 1, φ 2,... og φ være de karakteristiske funktioner for X 1, X 2,... og X. Hvis vi regner den karakteristiske funktion for v T X ud i argumentet 1, fås φ v (1) = e i vt X = φ(v), og tilsvarende for de andre variable. erfor ser vi at φ n (v) = φ n v (1) φ v (1) = φ(v) for n for hvert v R k. Så antagelsen sikrer at de karakteristiske funktioner for X 1, X 2,... konvergerer punktvist mod den karakteristiske funktion for X. Altså vil X n konvergere mod X i fordeling. Et device er et hjælpemiddel (eller i denne sammenhæng nærmest et trick). Og Cramér-Wolds device er vitterligt et hjælpemiddel, der næsten trivialiserer arbejdet med flerdimensional svag konvergens: kan man vise en sætning i en dimension, er det næsten altid trivielt at udvide den til en flerdimensional ramme.

15 488 Kapitel 22. Svag konvergens 22.3 Fordelingsfunktioner og svag konvergens Som vi har været inde på nogle gange, er et konvergensbegreb for sandsynlighedsmål, baseret på konvergens af karakteristiske funktioner, måske ikke det mest oplagte sted at tage fat. Specielt ikke i lyset af at de Moivre-Laplaces sætning, der ligger under hele diskussionen, taler om konvergens af fordelingsfunktioner. Men begreberne er selvfølgelig til en vis grad beslægtede: Lemma Lad ν 1, ν 2,... og ν være sandsynlighedsmål på den reelle akse (R, B), wk med tilhørende fordelingsfunktioner F 1, F 2,... og F. Hvis ν n ν og hvis x 0 er et kontinuitetspunkt for F, så vil F n (x 0 ) F(x 0 ) for n. BEVIS: For fast ɛ vælger vi kontinuerte begrænsede funktioner f og g, der opfylder at 1 (,x0 ɛ] f 1 (,x0 ] og 1 (,x0 ] g 1 (,x0 +ɛ]. Man kan f.eks. vælge f og g stykkevist affine, analogt med bumpfunktionerne i figur Vi ser at F(x 0 ɛ) f dν = lim f dν n lim inf F n (x 0 ). n Tilsvarende er F(x 0 + ɛ) g dν = lim n Vi kan samle disse uligheder og opnå at g dν n lim sup F n (x 0 ). F(x 0 ɛ) lim inf F n (x 0 ) lim sup F n (x 0 ) F(x 0 + ɛ). Lader vi ɛ 0 kan vi udnytte at x 0 er et kontinuitetspunkt for F. et følger at F(x 0 ɛ) F(x 0 ) og at F(x 0 + ɛ) F(x 0 ). erfor opnår vi ulighederne F(x 0 ) lim inf F n (x 0 ) lim sup F n (x 0 ) F(x 0 ), og de viser det ønskede.

16 22.3. Fordelingsfunktioner og svag konvergens 489 Umiddelbart virker det sikkert overraskende at lemma kun udtaler sig om opførslen af fordelingsfunktionerne i kontinuitetspunkterne for grænsesandsynlighedsmålet. er er trods alt højst tælleligt mange diskontinuitetspunkter, og man kunne godt forvente at resultatet kunne udstrækkes til disse punkter også ved en eller anden form for approksimation med kontinuitetspunkter. Men det kan man faktisk ikke - svag konvergens tillader os ikke at sige noget om hvad der sker med fordelingsfunktionerne i diskontinuitetspunkter for grænsemålet! Eksempel På den reelle akse (B, B) betragter vi etpunktsmålet ν n i punktet 1 n, wk og etpunktsmålet ν i punktet 0. Ifølge eksempel 22.2 vil ν n ν. Men hvis vi ser på fordelingsfunktionernes værdi i 0, så er F n (0) = 0 for alle n, F(0) = 1. Så der er ingen chance for at fordelingsfunktionerne F n skulle konvergere punktvist mod grænsefordelingsfunktionen F i alle punkter. Som et kuriosum kan man prøve at gentage øvelsen med etpunktsmålene i punkterne 1, 1 2, 1 3,.... isse mål konvergerer svagt mod etpunktsmålet i 0 som før. Situationen ligner til forveksling den vi lige har diskuteret. Men denne gang har vi faktisk punktvis konvergens af fordelingsfunktionerne i alle punkter! Så problemet med manglende konvergens af fordelingsfunktioner i visse punkter opstår ikke blot fordi der er en diskontinuitet i grænsefordelingen. et er et udtryk for nogle ganske subtile fænomener, der vedrører hvordan målene undervejs opfører sig i forhold til grænsemålets diskontinuitet. Eksempel viser at punktvist konvergens af fordelingsfunktioner og punktvis konvergens af karakteristiske funktioner simpelthen ikke er det samme begreb. Men hvis vi slækker kravet om punktvis konvergens af fordelingsfunktioner fra at det skal gælde i alle punkter til at det skal gælde i mange punkter, så kan man faktisk formulere svag konvergens på denne måde: Sætning Lad ν 1, ν 2,... og ν være sandsynlighedsmål på den reelle akse wk (R, B), med tilhørende fordelingsfunktioner F 1, F 2,... og F. er gælder at ν n ν hvis og kun hvis der findes en tæt delmængde A R sådan at lim F n(x) F(x) for alle x A. (22.4) n

17 490 Kapitel 22. Svag konvergens BEVIS: Hvis vi har at ν n wk ν, så følger det af lemma at (22.4) holder for alle x R \ (ν), hvor (ν) er springpunkterne for ν. Ifølge lemma 14.8 kan der højst være tælleligt mange springpunkter, så R \ (ν) er den tæt delmængde af den reelle akse. Så lad os omvendt antage at der findes en tæt delmængde A R hvorpå (22.4) holder. Lad f være en C b (R)-funktion, og lad ɛ > 0 være givet. a F(x) konvergerer mod henholdsvis 0 og 1 for x ±, kan vi finde a og b så F(a) < ɛ f, F(b) > 1 ɛ f. er gælder trivielt at f f (x) f for alle x, og dermed er specielt f ν ( (, a] ) f dν f ν ( (, a] ). (,a] En tilsvarende vurdering gælder naturligvis for integralet over den anden hale. Valget af a og b sikrer derfor at ɛ f dν ɛ, ɛ f dν ɛ. (,a] Ved eventuelt at gøre a lidt mindre og b lidt større, kan vi antage at de begge ligger i mængden A, og (22.4) sikrer derfor at vi kan finde et N så F n (a) < ɛ f, F n(b) > 1 ɛ f (b, ) for n N. (22.5) Gentages argumenterne ovenfor ser vi at ɛ f dν n ɛ, ɛ (,a] (b, ) f dν n ɛ for alle n N. Hvis vi samler oplysningerne kan vi konkludere at f dν n f dν (,a] (,a] 2ɛ, (b, ) f dν n (b, ) f dν 2ɛ, for alle n N. Vi viser nu at vi - ved eventuelt at gøre N større - har at f dν n f dν 3ɛ for n N. (22.6) (a,b] (a,b]

18 22.3. Fordelingsfunktioner og svag konvergens 491 I så fald vil f dν n f dν (,a] + f dν n (b, ) 2ɛ + 3ɛ + 2ɛ, (,a] f dν n (b, ) f dν + f dν (a,b] f dν n (a,b] f dν for n N, hvilket naturligvis medfører den ønskede svage konvergens. For at vise (22.6) bemærker vi at den kontinuerte funktion f må være uniformt kontinuert på det kompakte interval [a, b]. Vi kan derfor finde et δ > 0, så x, y [a, b], x y < δ f (x) f (y) < ɛ. Vi kan vælge en inddeling af intervallet [a, b], a = y 0 < y 1 <... < y M 1 < y M = b, sådan at y n y n 1 < δ for alle n, og så alle y erne ligger i A. Man kan f.eks. starte med at finde et ækvidistant gitter mellem a og b med naboafstand ρ < δ/2, og derefter vælge et A-punkt inden for afstand ρ/2 af hvert af de primære gitterpunkter. e modificerede gitterpunkter ligger i samme rækkefølge som de primære gitterpunkter, og de har en naboafstand på højst 2ρ < δ. Ud fra dette gitter konstruerer vi funktionen g som hvor g = M m i 1 (yi 1,y i ], i=1 m i = min { f (y) y [y i 1, y i ]} for i = 1,..., M. Pointen med denne definition er at de involverede minima tages over så små intervaller at vi er sikre på at g(x) f (x) g(x) + ɛ for alle x (a, b]. Vi bemærker endvidere at M ( g dν n = m i Fn (y i ) F n (y i 1 ) ) i=1 M ( m i F(yi ) F(y i 1 ) ) = i=1 g dν

19 492 Kapitel 22. Svag konvergens for n. ermed er (a,b] f dν n (a,b] f dν f dν n g dν n + (a,b] (a,b] + g dν f dν (a,b] (a,b] ɛ + g dν n g dν + ɛ (a,b] (a,b] (a,b] g dν n (a,b] g dν hvilket er mindre end 3ɛ når n er stor nok. Vi interesserer os mest for svag konvergens i situationer hvor grænsemålet er en normalfordeling. I det tilfælde forsvinder sondringen mellem konvergens af fordelingsfunktioner og konvergens af karakteristiske funktioner, for grænsemålet har ingen diskontinuitetspunkter. et er ganske vanskeligt at komme med en umiddelbart overbevisende pædagogisk forklaring på, hvorfor man vælger at formulere den centrale grænseværdisætning i termer af konvergens af karakteristiske funktioner mod den karakteristiske funktion for en normalfordeling, fremfor i termer af konvergens af fordelingsfunktioner - når de to ting nu siger det samme, skulle man tro at man valgte den mest intuitive variant. Men fordelingsfunktioner er essentielt et etdimensionalt begreb - det er svært at arbejde med punktvis konvergens af flerdimensionale fordelingsfunktioner, og specielt er der problemer med at få en variant af Cramér-Wolds device til at gælde. Når man arbejder med svag konvergens vil man opdage at det er essentielt at man kan passere smertefrit frem og tilbage mellem én og flere dimensioner, også selv om ens primære interesse er rettet mod etdimensionale resultater. Så forklaringen på valget af konvergensbegreb er en kombination af, at beviset for den centrale grænseværdisætning under alle omstændigheder passerer via karakteristiske funktioner, og at karakteristiske funktioner tillader den smidigste passage frem og tilbage mellem dimensionerne. Når man har vænnet sig til at arbejde med disse ting, kommer konvergens af karakteristiske funktioner uvægerligt til at fremstå som det egentlige, mens konvergens af fordelingsfunktioner bliver en slags biting.

20 22.4. Svag konvergens og konvergens i sandsynlighed Svag konvergens og konvergens i sandsynlighed Vi erindre at en følge af stokastiske variable X 1, X 2,... med værdier i R k konvergerer i sandsynlighed mod et punkt x R k P, skrevet X n x, hvis P( X n x > ɛ) 0 for n. for alle ɛ > 0. Konvergens i sandsynlighed mod et punkt kan formuleres i termer af konvergens i fordeling - eller svag konvergens, om man vil: Lemma Lad X 1, X 2,... og X være stokastiske variable med værdier i R k, og antag at P(X = x) = 1. a gælder at X n P x Xn X. BEVIS: Antag at X n X. Tag et ɛ > 0, og find to små kasser så x k i=1 [a i, b i ] k i=1 (c i, d i ) B(x, ɛ). Vælg en bumpfunktion f så k i=1 [a i, b i ] f k i=1 (c i, d i ). a ser vi at 1 B(x,ɛ) c 1 f. a 1 f er en C b -funktion, får vi derfor at (1 P( X n x > ɛ) = 1 B(x,ɛ) c(x n ) dp f (Xn ) ) (1 ) dp f (X) dp = 0. Og vi kan konkludere at X n P x. P Antag omvendt at X n x. Lad f være en Cb (R k )-funktion, og lad ɛ > 0 være givet. a f er kontinuert i x, findes et δ > 0 så y x < δ f (y) f (x) < ɛ.

21 494 Kapitel 22. Svag konvergens ermed er f (X n ) dp f (X) dp = f (X n ) f (x) dp f (X n ) f (x) dp + ( X n x <δ) ɛ + 2 f P ( X n x δ ). ( X n x δ) f (X n ) f (x) dp Vi ser at hvis N vælges stor nok, vil f (X n ) dp f (X) dp 2ɛ for n N. a f og ɛ var vilkårlige, følger det nu at X n X. Hvis vi har to følger af stokastiske variable, der begge konvergerer i fordeling, X n X, Yn Y, så gælder der i almindelighed ikke at sammenbundtningen (X n, Y n ) konvergerer i fordeling, hverken mod (X.Y) eller mod noget som helst andet. En eventuel konvergens af (X n, Y n ) har at gøre med følgen af simultane fordelinger, og der ligger simpelthen ikke nogen information om disse simultane fordelinger i en oplysning om at der er marginal konvergens i fordeling. Som et ekstremt eksempel kan man se på den situation hvor alle X n erne har samme fordeling, og hvor alle Y n erne har samme fordeling. et følger ikke heraf at de simultane fordelinger opfører sig pænt på nogen måde. Men i visse situation kan man fastholde konvergens i fordeling, også af de sammenbundtede variable. En ofte opstående situation hvor man har tilstrækkelig kontrol over tingene, er den hvor en af følgerne konvergerer i sandsynlighed: Lemma Lad X 1, X 2,... og X være stokastiske variable med værdier i R k, lad Y 1, Y 2,... være stokastiske variable med værdier i R m, og lad y være en vektor i R m. Hvis X n X, Yn P y så vil sammenbundtningen (X n, Y n ) konvergere i fordeling mod grænsevariablen (X, y).

22 22.4. Svag konvergens og konvergens i sandsynlighed 495 BEVIS: Lad f C b (R k+m ), og antag at f er uniformt kontinuert. For et givet ɛ findes et δ, så (x, z) x(x, z ) < δ f (x, z) f (x, z ) < ɛ. Vi skal kun bruge det på to punkter, der har samme 1. koordinat, så den formel vi i virkeligheden udnytter er z z < δ f (x, z) f (x, z ) < ɛ. Vi skal vurdere på f (X n, Y n ) dp f (X, y) dp. (22.7) enne forskel kan naturligt vurderes op ved f (X n, Y n ) f (X n, y) dp + f (X n, y) f (X, y) dp et første integral kan vurderes yderligere op ved at udnytte den uniforme kontinuitet af f, f (X n, Y n ) f (X n, y) dp ɛp( Y n y < δ ) + 2 f P ( Y n y δ ) hvilket er mindre end 2ɛ når n er stor nok. Sætning 22.7 brugt på indlejringsafbildningen x (x, y), giver at (X n, y) (X, y). (22.8) erfor vil f (X n, y) f (X, y) dp < ɛ, når n er stor nok. Og som konsekvens er (22.7) mindre end 3ɛ når n er stor nok. et følger af bemærkningen p. 487 at det er nok at checke (22.2) efter for uniformt kontinuerte, begrænsede funktioner for at påvise svag konvergens. Så vi har nu vist at (X n, Y n ) konvergerer mod (X, y) i fordeling. Når dette lemma kombineres med sætning 22.7, har det et væld af konsekvenser, der smidiggør arbejdet med svag konvergens. For eksempel følgende trivialitet:

23 496 Kapitel 22. Svag konvergens Korollar (Slutsky) Lad X 1, X 2,..., Y 1, Y 2,... og X være stokastiske variable med værdier i R k. Hvis X n X, Yn P 0 så vil X n + Y n X. BEVIS: et følger af lemma at (X n, Y n ) konvergerer i fordeling mod (X, 0). Kombineres det med sætning 22.7, brugt på den kontinuerte afbildning (x, y) x + y, følger resultatet. Korollar Lad X 1, X 2,... og X være stokastiske variable med værdier i R k og lad Y 1, Y 2,... være reelle stokastiske variable. Hvis X n X, Yn P 1 så vil Y n X n X. BEVIS: et følger af lemma at (X n, Y n ) konvergerer i fordeling mod (X, 1). Kombineres det med sætning 22.7, brugt på den kontinuerte afbildning (x, y) y x, følger resultatet Store tals lov en klassiske store tals lov (se afsnit 17.3) siger at hvis X 1, X 2,... er uafhængige og idenstisk fordelte variable med 2. moment, så vil 1 n n P X i EX1. i=1 I denne formel optræder 2. momentet ikke, men variansen optræder i beviset som en størrelse der tvinger halerne for gennemsnittene ind mod EX 1.

24 22.5. Store tals lov 497 Ved hjælp af den udviklede teori for svag konvergens er vi nu i stand til at give et bevis for store tals lov, der ikke kræver at de indgående variable har 2. moment - det viser sig at eksistensen af middelværdien tilstrækkelig. Lemma Lad z og w være to komplekse tal. Hvis z 1 og w 1, vil z n w n n z w. BEVIS: Vi ser at z n w n z n z n 1 w + z n 1 w w n = z n 1 z w + w z n 1 w n 1 z w + z n 1 w n 1. Ved induktiv brug giver denne vurdering det ønskede. Lemma Lad z være et komplekst tal. Hvis z 1 er er e z (1 + z) z 2. BEVIS: Størrelsen 1 + z er de to første led i potensrækkefremstillingen af den komplekse eksponentialfunktion. erfor har vi at e z (1 + z) z = n n! z n 2 z 2 z 2 1 n! n!. n=2 For at få styr på summen af de reciprokke fakulteter, kan man f.eks. udnytte at N n=2 1 N n! 1 N n(n 1) = n=2 n=2 n=2 ( 1 n 1 1 n n=2 ) = 1 1 N for alle N, og den uendelige sum bliver derfor højst 1.

25 498 Kapitel 22. Svag konvergens Sætning (Store tals lov, udvidet version) Lad X 1,..., X n være uafhængige, identisk fordelte reelle stokastiske variable med middelværdi ξ. er gælder at 1 n n P X i ξ. (22.9) i=1 BEVIS: Lad X 1 have karakteristisk funktion φ. Foldningsformlen for karakteristiske funktioner fortæller at 1 n ni=1 X i har karakteristisk funktion ( θ ) n ψ n (θ) = φ for θ R. n Konvergens i sandsynlighed er det samme som konvergens i fordeling mod et etpunktsmål, og etpunktsmålet i ξ har karakteristisk funktion ψ(θ) = e i ξ θ for θ R. Udfordringen er således at vise at ψ n (θ) ψ(θ) for n for hvert fast θ. Ved først at bruge lemma og dernæst lemma ser vi at ( ψ n (θ) ψ(θ) = θ ) n φ ( ) e i ξ θ n ( n n θ ) n φ e i ξ θ n n ( n θ ) ( φ 1 + i ξ θ ( + n n n) 1 + i ξ θ ) e i ξ n θ n ( n θ ) ( φ 1 + i ξ θ + n n n) i ξ θ 2 n Sidste led går tydeligvis mod nul, så problemet er at styre første led. Men sætning fortæller at φ er differentiabel i 0 med differentialkvotient i ξ. Hvis θ n er en reel talfølge, der konvergerer mod nul, så vil Eller anderledes formuleret: φ (θ n ) 1 θ n i ξ for n. 1 θ n φ(θn ) 1 i ξ θ n 0 for n. Bruges det på talfølgen θ/n fås netop at første led i ovenstående vurdering går mod nul.

26 22.6. Asymptotisk normalitet 499 e fleste af de stokastiske variable man støder på i statistik og i andre anvendelser af sandsynlighedsregning har momenter af enhver orden, så udvidelsen er ikke til den store nytte i praksis. Men ud fra et filosofisk synspunkt er den uhyre tilfredsstillende: store tals lov er på mange måder rygraden i den frekventistiske opfattelse af sandsynlighedsregning, og de svækkede betingelser viser hvor lidt der skal til før de asymptotiske stabiliseringer finder sted Asymptotisk normalitet En speciel form for svag konvergens mod en normalfordeling optræder så ofte at den har fået sin egen betegnelse: efinition Lad X 1, X 2,... være stokastiske variable på (Ω, F, P) med værdier i (R k, B k ), lad ξ R k være en vektor og lad Σ være en positivt semidefinit k k matrix. a er X n asymptotisk normalfordelt med parametre ( ξ, 1 n Σ), skrevet as X n N (ξ, 1n ) Σ, hvis n (Xn ξ) N (0, Σ) for n. Med denne definition kan vi formulere de Moivre-Laplaces sætning (22.1) som 1 n S n N ( ) 1 2, 1 4 n for n. Mange varianter af den centrale grænseværdisætning formuleres netop i termer af asymptotisk normalitet. Lemma Lad X 1, X 2,... og X være stokastiske variable med værdier i R k, og antag at n X n X. a vil Xn P 0.

27 500 Kapitel 22. Svag konvergens BEVIS: a n X n konvergerer i fordeling, udgør de tilhørende fordelinger en uniformt tight familie af sandsynlighedsmål på R k. For givet δ > 0 findes derfor en konstant C så P ( n Xn > C ) < δ for alle n N. For givet ɛ > 0 kan vi vælge N så stort at C/ N < ɛ. Og dermed er P ( X n > ɛ) P ( X n > C/ n ) < δ for n N. Heraf følger det at X n P 0 som ønsket. Som en oplagt anvendelse af dette lemma har vi at ( as X n N ξ, 1 ) n Σ P X n ξ. (22.10) Men udsagnet om asymptotisk normalitet er meget stærkere end som så, for det fortæller ganske præcist hvordan fordelingen af X n koncentrerer sig om ξ for store n. en fundamentale kilde til resultater om asymptotisk normalitet er de forskellige varianter af den centrale grænseværdisætning, som vi skal se i kapitel 23. Men i anvendelserne har man ofte brug for at vide at andre typer processer er asymptotisk normalfordelte. et er derfor heldigt at asymptotisk normalitet bevares under en række operationer, man naturligt vil udsætte stokastiske variable for, ikke mindst transformation med differentiable funktioner: Sætning Lad X 1, X 2,... og X være stokastiske variable med værdier i R k, og antag at n X n X. Hvis f : R k R m er en målelig afbildning, der opfylder at f (0) = 0, og der er differentiabel i 0 med afledet f (0) = A, så vil n f (Xn ) A X. BEVIS: Lad os definere en funktion ɛ : R k \ {0} R k, givet ved at f (x) = Ax + x ɛ(x) for alle x 0,

28 22.6. Asymptotisk normalitet 501 ifferentiabilitetsantagelsen sikrer at ɛ(x) 0 for x 0. Vi har at n f (Xn ) = n ( A X n + X n ɛ(x n ) ) = A n X n + n Xn ɛ(xn ) et er klart at A n X n AX, så resultatet følger af Sluskys lemma hvis a ɛ(x) 0 for x 0 findes der for givet δ > 0 et ρ så n X n ɛ(xn ) P 0. (22.11) x < ρ ɛ(x) δ. ermed er P ( ɛ(x n ) > δ ) P ( X n ρ ) 0 for n, så ɛ(x n ) P 0. Eftersom n Xn X følger det af lemma at ( n Xn, ɛ(xn ) ) ( X, 0). Sammensættes nu med den sædvanlige kontinuerte multiplikationsafbildning fås at n X n ɛ(xn ) 0. Og vi konkluderer derfor at (22.11) er opfyldt. Sætning (eltametoden) Lad X 1, X 2,... og X være stokastiske variable med værdier i R k, og lad f : R k R m være målelig. Hvis as X n N (ξ, 1n ) Σ. og hvis f er differentiabel i ξ, så vil ( f (X n ) as N f (ξ), 1 ) n f (ξ) Σ f (ξ)t.

29 502 Kapitel 22. Svag konvergens BEVIS: er er essentielt tale om en oversættelse af sætning Vi har at n (X n ξ) konvergerer i fordeling mod en stokastisk variabel X, der er N(0, Σ)-fordelt. Afbildningen g(x) = f (x + ξ) f (ξ) er differentiabel i 0 med g(0) = f (ξ), og derfor vil n ( f (Xn ) f (ξ) ) = n g(x n ξ) f (ξ) X. Fordelingen af grænsevariablen følger af sætning Når man refererer til sætning under navnet deltametoden er det en sprogbrug, der er lånt fra fysikken. Man skal tænke på X n som middelværdien ξ plus et lillebitte stokastisk størrelse δ n. Ja, δ n er så lille at den rent ud sagt er infinitesimalt, og derfor kan man for alle praktiske forhold lade som om f er affin. et er typisk fysikjargon at formulere sig i termer af sådanne infinitesimale δ er. I praktiske anvendelser af deltametoden tager man det ikke så nøje om funktionen f er defineret på hele R k - det plejer at være nok at den er defineret i en åben omegn af ξ. Formelt kan man i så fald slet ikke tale om f (X n ), for denne stokastiske variabel er kun partielt defineret. Men man kan jo vælge en arbitrær udvidelse af f til en globalt defineret afbildning. Blot udvidelsen er målelig vil resultatet i sætning holde. Og grænsefordelingen afhænger ikke af hvordan udvidelsen ser ud.