Kapitel 4 Svag konvergens 4.1 Historisk indledning I første halvdel af 1700-tallet var stort set al sandsynlighedsregning af kombinatorisk natur. Hovedværker fra perioden er Abraham de Moivres The Doctrine of Chances; or, a Method for Calculating the Probabilities of Events in Play (første udgave 1718, adskillige senere kraftigt udvidede versioner), der løser et hav af problemer om hvor ofte forskellige situationer opstår i konkrete spil. Et typisk eksempel på de problemer de Moivre arbejdede med, er at finde sandsynligheden for i otte kast med en terning at få mindst to seksere. I den type problemer har man evindeligt brug for binomialkoefficienter. Og det volder ingen vanskeligheder, så længe problemerne er små. Men binomialkoefficienterne vokser ekstremt hurtigt med problemstørrelsen, og de tilgængelige tabeller slipper snart op. I øvrigt fører regningerne også til hvad vi i dag ville kalde numeriske problemer: det typiske problem har en løsning, der er en sum, hvor hvert led er et produkt af en kæmpestor faktor (typisk en binomialkoefficient) og en lillebitte faktor (nogle sandsynligheder ophøjet til store potenser). Sådanne summer er vanskelige at finde, fordi man ikke kan give køb på nøjagtigheden nogen steder i udregningerne: det er ikke til at vide, hvor de vigtige bidrag kommer fra. 37
38 Kapitel 4. Svag konvergens De Moivre satte sig (i samarbejde og konkurrence med Stirling) for at finde approksimative udtryk for de punktsandsynligheder, der skal summes. Målet var selvfølgelig at disse approksimationer skulle kunne udregnes umiddelbart, uden at involvere binomialkoefficienter. Resultatet er den såkaldte Stirlings formel. Vi tænker normalt på denne formel som en asymptotisk udvikling af fakultetsfunktionen (eller mere generelt af Γ-funktionen), men den primære ide bag formlen er at styre binomialsandsynligheder. De Moivre viste at hvis X 1, X 2,... er uafhængige stokastiske variable med og hvis vi sætter så vil P(X i = 1) = 1 2, P(X i = 0) = 1 2, k n (x) = [ n/2 + x n/4 ] n P X i = k n (x) 1 e x2 /2. 2π i=1 Denne påstand (eller i hvert fald en der er meget tæt beslægtet) er medtaget i 1738- udgaven af The Doctrine of Chances, lige som tilsvarende formler for asymmetriske binomialsandsynligheder. Efter lidt armbevægelser fører de til den første version af hvad der siden er blevet kendt som den centrale grænseværdisætning, P ( a ni=1 X i n/2 n/4 ) b 1 b e x2 /2 dx. 2π Når vi taler om den centrale grænseværdisætning, er det klart at vi opfatter det som en dyb, metafysisk påstand. Sådan så de Moivre knap nok på det. For ham var det bare en approksimation som så mange andre. Han var formentlig det første menneske i historien, der så på integralet på højre side, og han forbandt intet med det. Ordet normalfordeling er en langt senere opfindelse, og de Moivre indså end ikke at der er en sandsynlighedsfordeling indvolveret - Laplace viste 50 år senere at normeringen er rigtig. Ganske mange mennesker arbejdede videre på de Moivres ideer, men succesen var i lang tid begrænset: essentielt kunne man ikke få approksimationsargumenterne til at virke for andet end binomialfordelinger. Den første der for alvor fik hul på bylden var Laplace, som i 1782 kunne gennemføre tilsvarende approksimationer for summer af variable, der antog tre værdier! Det gjorde han ved hjælp af nogle umådeligt trickede substitutionsargumenter, hvor han oversatte alt til integraler involverende komplekse eksponentialfunktioner. Hans ideer svarer ganske nøje til hvad vi idag kalder karakteristiske funktioner. Det overraskende var at han fik samme type approksimerende a
4.2. Konvergens af mål 39 integraler som i binomialtilfældet. Og her begynder det metafysiske princip at tage form: fordelingen af en sum af variable afhænger stort set ikke af fordelingen af de enkelte variable! Det lykkedes Laplace at give ganske generelle beviser for den centrale grænseværdisætning, hvor de indgående variable er uafhængige og identisk fordelte, alt sammen ved hjælp af karakteristiske funktioner. Gauss tog få år senere udgangspunkt i normalfordelingen, ud fra et argument om at når normalfordelingen alligevel dukker op i grænsen, så er det nok mest naturligt at starte med den. Han tænkte på målefejl som en sum af et hav af uregistrerede småfejl, og det forekom ham naturligt at beskrive disse målefejl som normalfordelte. Og siden har normalfordelingen været hjørnestenen i al statistik. I slutningen af 1800-tallet begyndte Chebychev og hans elever (især Markov og Lyapounov) at spekulere over hvad det egentlig er der foregår i den centrale grænseværdisætning. Det viser sig at der er nogle subtile forskelle mellem konvergens af fordelingsfunktioner (der essentielt er indholdet af de Moivres sætning) og konvergens af karakteristiske funktioner (hvilket siden Laplaces tid var nøglen i alle beviser). De udviklede en egentlig teori for konvergens af sandsynlighedsmål. Denne teori har indbyggede vanskeligheder, fordi der de intuitive begreber viser sig mindre smidige at arbejde med end nogle mere tekniske varianter. 4.2 Konvergens af mål Definition 4.1 Lad A være en klasse af begrænsede, målelige funktioner R n R. Vi siger at en følge af sandsynlighedsmål ν 1, ν 2,... på R n er A-konvergent mod et A grænsesandsynlighedsmål ν, og skriver ν m ν for m, hvis f (x) dν m (x) = f (x) dν(x) for alle f A. lim Bemærk at hvis A er en separerende klasse, så kan en følge af sandsynlighedsmål højst være A-konvergent mod ét grænsemål. Det er klart at hvis A C er to klasser af begrænsede, målelige funktioner, så vil C-konvergens af sandsynlighedsmål medføre A-konvergens. Vi vil interessere os en
40 Kapitel 4. Svag konvergens del for det omvendte spørgsmål: hvad skal der til før konvergens med hensyn til en lille funktionsklasse medfører konvergens med hensyn til en bredere klasse. Associeret til en funktionsklasse A findes et stærkere konvergensbegreb end A- konvergens, nemlig uniform A-konvergens, som er det begreb vi bruger hvis sup f (x) dν m (x) f (x) dν(x) 0 for m. f A Uniform A-konvergens medfører altid A-konvergens, og for visse funktionsklasser gælder det modsatte. Eksempel 4.2 Hvis vi på R n fokuserer på klassen af alle Borel-målelige indikatorfunktioner, får vi et begreb vi kunne kalde B n -konvergens. En følge af sandsynlighedsmål ν 1, ν 2,... er B n -konvergent mod et grænsemål ν hvis lim ν m(b) = ν(b) for alle B B n. Det tilsvarende uniforme begreb kaldes som regel konvergens i total variation, fordi størrelsen sup B B n µ(b) ν(b) kaldes den totale variationsafstand mellem to endelige mål µ og ν - eller for den sags skyld mellem to fortegnsmål. Det kan vises at B n -konvergens medfører konvergens i total variation. Begrebet spiller en stor rolle i f.eks. Markovkædeteori, hvor man ofte kan vise at n-trins overgangssandsynligheder konvergerer i total variationsafstand mod en stationær begyndelsesfordeling. Vi medtager dog først og fremmest begrebet her, med det formål at gøre opmærksom på at det ikke er denne form for konvergens der optræder i den centrale grænseværdisætning. Hvis S n er binomialfordelt med længde n og successandsynlighed 1/2, så vil enhver værdi af de normerede størrelser S n n/2 n/4 være af formen plus/minus kvadratroden af et rationalt tal. Der er således kun tælleligt mange mulige værdier. Og normalfordelingen tillægger naturligvis denne tællelige
4.2. Konvergens af mål 41 mængde sandsynlighed nul. Så de normerede binomialfordelte størrelser konvergerer ikke mod en N(0, 1)-fordeling i total variationsafstand, tværtimod er den totale variationsafstand altid 1. Eksempel 4.3 Hvis vi på R fokuserer på klassen af indikatorfunktioner for nedad ubegrænsede standardintervaller, 1 (,b] (x), får vi et begreb der kunne kaldes standardintervalkonvergens. Det svarer til punktvis konvergens af fordelingsfunktionernen. Det er nemt at se at den større klasse af alle standardintervaller, 1 (a,b] (x) for a < b, giver anledning til præcis samme konvergensbegreb. Det tilsvarende uniforme begreb kaldes som nogen gange konvergens i Kolmogorovs forstand, fordi størrelsen sup F(x) G(x) x R kaldes Kolmogorovafstanden mellem to fordelingsfunktioner F og G. Det kan vises at standardintervalkonvergens medfører konvergens i Kolmogorovafstand. De elementære varianter af den centrale grænseværdisætning handler om konvergens i Kolmogorovafstand, og de fleste vil opfatte dette konvergensbegreb som intuitivt og naturligt. Ved nærmere eftersyn viser det sig dog at have visse defekter. Det er ganske vanskeligt at få en fornuftig generalisering til den flerdimensionale situation, fordi flerdimensionale fordelingsfunktioner er sådan noget rod at have med at gøre. Men det viser sig også vanskeligt at arbejde med begrebet i en dimension, fordi det er uhyre svært at sige noget begavet om fordelingsfunktionen for en sum af uafhængige stokastiske variable. Det store gennembrud omkring centrale grænseværdisætninger kom med Laplaces indførsel af hvad der i moderne termer kaldes karakteristiske funktioner, og hovedpointen i beviserne er som regel at vise punktvis konvergens af de karakteristiske funktioner. Som vi skal se, kan det nogle gange - men ikke altid - oversættes til konvergens af fordelingsfunktioner. Konvergens af karakteristiske funktioner er nøje forbundet med svag konvergens, se eksempel 4.4. Det præcise forhold mellem svag konvergens og konvergens i Kolmogorovafstand er subtilt. Men fordi svag konvergens lader sig generalisere til mange andre rum end den reelle akse, og fordi svag konvergens i det hele taget er umådeligt meget nemmere at arbejde med i praksis, er man tilbøjelig til at underspille Kolmogorovastandens intutive kvaliteter.
42 Kapitel 4. Svag konvergens Eksempel 4.4 Hvis vi på R n fokuserer på klassen af kontinuerte, begrænsede funktioner C b (R n ), får vi et konvergensbegreb, der kaldes svag konvergens. Vi skriver wk som regel ν m ν hvis f (x) dν m (x) f (x) dν for alle f C b (R n ) C b i stedet for ν m ν. Dette konvergensbegreb er ikke særligt intutivt, men er teknisk meget smidigt at arbejde med. Og i en række vigtige situationer, kan det oversættes til mere begribelige konvergensbegreber. Der findes naturligvis et uniformt konvergensbegreb, associeret til funktionsklassen C b (R n ). Men dette uniforme konvergensbegreb er ikke identisk med svag konvergens, og spiller ikke nogen rolle, hverken i teori eller praksis. Vi formulerer os typisk ved hjælp af stokastiske variable fremfor sandsynlighedsmål. Traditionen byder at man siger at en følge af stokastiske variable X 1, X 2,..., defineret på et fælles baggrundsrum (Ω, F, P) og med værdier i R n, konvergerer i fordeling mod en grænsevariabel X, skrevet X m D X, hvis de tilhørende billedemål X 1 (P), X 2 (P),... konvergerer svagt mod billedemålet X(P). Eller mere direkte: hvis f (X m ) dp f (X) dp for alle f C b (R n ). Skønt en eventuel grænseværdi for svag konvergens er entydigt bestemt, er forholdene lidt mere indviklede for konvergens i fordeling. Grænsen er i virkeligheden et sandsynlighedsmål ν på R n, og alle stokastiske variable med dette mål som fordeling, kan bruges som grænsevariabel. En formulering af de Moivre-Laplaces sætning kunne lyde at hvis S n for hvert n er binomialfordelt med længde n og successandsynlighed 1/2, så vil S n n/2 D X n/4 hvor X er en N(0, 1)-fordelt variabel. Men grænsevariablen X kan uden videre erstattes af X, eller af en hvilken som helst anden variabel, der blot er standard normalfordelt.
4.3. Svag konvergens med mindre funktionsklasser 43 4.3 Svag konvergens med mindre funktionsklasser I dette afsnit vil vi interessere os for hvornår A-konvergens medfører svag konvergens, for forskellige delklasser A C b (R n ). Et sandsynlighedsmål ν på R n siges at være tight hvis der for hvert ɛ > 0 findes en kompakt mængde K så ν(k) > 1 ɛ. Tightness er ikke så ophidsende et begreb i denne ramme, for ethvert sandsynlighedsmål på et euklidisk rum er tight - det kan indses ved at se på en følge af afsluttede kugler med større og større radier. I mere generelle topologiske rum, f.eks. funktionsrum, findes der ikke ret mange kompakte mængder, og tightness bliver så et meget vigtigt karakteristikum for et sandsynlighedsmål. Man tænker gerne på et tight sandsynlighedsmål som et der essentielt lever på en endeligdimensional delmængde. Skønt tightness i sig selv ikke er så vigtigt på euklidiske rum, er der en variant, der spiller en stor rolle. En familie (ν i ) i I af sandsynlighedsmål på R n er uniformt tight, hvis der for hvert ɛ > 0 findes en kompakt mængde K så ν i (K) > 1 ɛ for alle i I. Hvis vi har to familier, der begge er uniformt tighte, så er foreningen af de to familier også uniformt tight. Eftersom en familie bestående af et enkelt sandsynlighedsmål automatisk er uniformt tight, ser vi at enhver endelig familie af sandsynlighedsmål er uniformt tight. Lemma 4.5 Hvis ν m wk ν, så er familien ν 1, ν 2,... uniformt tight. BEVIS: Lad ɛ > 0 være givet, og find en kompakt mængde K så µ(k) > 1 ɛ. Find en åben mængde G så K G, og så G har kompakt afslutning, og konstruer en bumpfunktion f så K f G. Vi ser at ν m (G ) f dν m = f dν ν(k) > 1 ɛ, og derfor findes der et M så ν m (G ) > 1 ɛ for m M. Familien ν 1,..., ν M 1 er uniformt tight, så der findes automatisk en kompakt mængde der klarer dem.
44 Kapitel 4. Svag konvergens Nogle funktionsklasser A har den egenskab af A-konvergens af en følge af sandsynlighedsmål fremtvinger at følgen er uniformt tight. Indholdet af lemma 4.5 er at C b -konvergens fremtvinger uniform tightness, men kigger man beviset efter foregår argumentationen på bumpfunktioner, så i virkeligheden vises det stærkere udsagn at C c -konvergens fremtvinger tightness. Sætning 4.6 Hvis en følge ν 1, ν 2,... af sandsynlighedsmål på R n er C c -konvergent mod et grænsesandsynlighedsmål ν, så vil følgen også være svagt konvergent mod ν. BEVIS: Lad f være en kontinuert, begrænset funktion. Da C c -konvergens fremtvinger tightness, kan vi for et givet ɛ > 0 finde en kompakt mængde K så ν m (K) > 1 ɛ for alle m. Vi kan uden videre antage at også grænsemålet opfylder at ν(k) > 1 ɛ. Lad g være en bumpfunktion, så K g. Da er f = g f + (1 g) f og g f er en C c -funktion. Da g per definition kun antager værdier mellem 0 og 1, ser vi endvidere at (1 g) f f, hvor betyder uniform norm. Men det centrale er selvfølgelig at (1 g) f = 0 på den mængde K, hvor næsten al sandsynlighedsmassen findes. Vi kombinerer disse oplysninger i udsagnet (1 g) f f 1 K c. Vi ser at f dν m f dν = g f + (1 g) f dν m g f + (1 g) f dν g f dν m g f dν + f ν m(k c ) + f ν(k c ) g f dν m g f dν + 2 f ɛ. Da g f er en C c -funktion, følger det nu at f dν m f dν g f dν m g f dν + 2 f ɛ 2 f ɛ.
4.3. Svag konvergens med mindre funktionsklasser 45 Men ɛ har vi selv valgt, og ved at skrue på den, ser vi at f dν m f dν = 0. Dette gælder for enhver C b -funktion f, og derfor vil ν m konvergere svagt mod ν som ønsket. Korollar 4.7 Hvis en følge ν 1, ν 2,... af sandsynlighedsmål på R n er C c -konvergent mod et grænsesandsynlighedsmål ν, så vil følgen også være svagt konvergent mod ν. BEVIS: Lad f være en C c -funktion. Der findes da en Cc -funktion g, så g f <. Derfor er f dν m f dν f g dν m + g dν m g dν + g f dν 2 ɛ + g dν m g dν, og gås til grænsen fås f dν m f dν g dν m Men vi valgte selv ɛ, og ved at skrue på den, ser vi at f dν m f dν = 0. g dν + 2 ɛ = 2 ɛ. Dette gælder for enhver C c -funktion f, så vi har vist at C c -konvergens medfører C c -konvergens. Og i kraft af sætning 4.6 medfører det i sin tur svag konvergens. Vi vil nu interessere os for konvergens af integraler af generaliserede trigonometriske polynomier. Vi taler om Trig.Pol.-konvergens i så tilfælde. Lemma 4.8 Lad ν 1, ν 2,... være en følge af sandsynlighedsmål på R n med tilhørende karakteristiske funktioner φ 1, φ 2,.... Lad ν være endnu et sandsynlighedsmål, med karakteristisk funktion φ. Hvis φ m (α) φ(α) for alle α R n så vil følgen ν 1, ν 2,... være Trig.Pol.-konvergent mod ν.
46 Kapitel 4. Svag konvergens BEVIS: Puntkvis konvergens af karakteristiske funktioner, betyder konvergens af alle integraler af de elementære komplekse eksponentialfunktioner, t e i α,t, t R n. Men de generaliserede trigonometriske polynomier er netop linearkombinationer af de elementære komplekse eksponentialfunktioner, så deres integraler vil også konvergere. Lemma 4.9 Lad ν være et sandsynlighedsmål på R n med karakteristisk funktion φ. Der findes en konstant β (der ikke afhænger af det konkrete sandsynlighedsmål) så ν ( B(0, r) c) β (1 φ(α)) dα (4.1) m n (B(0, r)) B(0,r) for alle r > 0. Her betegner B(0, r) kuglen om 0 med radius r. BEVIS: Se f.eks. Billingsley: Probability and Measure, (1979), p. 303. Beviset er et dybt utilfredsstillende trick. Lemma 4.10 Hvis ν 1, ν 2,... er en følge af sandsynlighedsmål på R n, der er Trig.Pol.-konvergent mod et grænsesandsynlighedsmål ν, så er familien ν 1, ν 2,... uniformt tight. BEVIS: Lad φ 1, φ 2,... og φ være de karakteristiske funktioner hørende til sandsynlighedsmålene ν 1, ν 2,... og ν. Vi ved at φ(0) = 1 og at φ er kontinuert. Specielt kan vi derfor finde et r så 1 (1 φ(α)) dα < ɛ. m n (B(0, r)) B(0,r) Eftersom φ n konvergerer punktvist mod φ, begrænset af 1, sikrer majorantsætningen at 1 (1 φ m (α)) dα < ɛ, m n (B(0, r) B(0,r) for m stor nok. Det følger da af (4.1) at ν m ( B(0, r) c ) ) β ɛ,
4.3. Svag konvergens med mindre funktionsklasser 47 igen for m stor nok. Men de første endeligt mange ν m er udgør en uniformt tight familie, så de volder ikke noget problem. Sætning 4.11 (Kontinuitetssætningen) Hvis en følge ν 1, ν 2,... af sandsynlighedsmål på R n er Trig.Pol.-konvergent mod et grænsesandsynlighedsmål ν, så vil følgen også være svagt konvergent mod ν. BEVIS: Lad f være en C c (R k ), og lad K være en stor kompakt mængde, sådan at supp f K, og sådan at ν m (K) > 1 ɛ for alle m (og også for grænsemålet nu. Vi kan uden indskrænkning antage at K er en kasse af formen [ C, C] n. Find et generaliseret trigonometrisk polynomium g, så g(x) f (x) < ɛ for alle x K. Vi kan antage at g er periodisk i hver koordinat med periode 2C, og derfor at g f + ɛ. I så fald er f dν n g dν n f dν m + f g dµ m + g dν m 0 + ɛ + ɛ( f + ɛ) K c K K c og tilsvarende for grænsemålet ν. Derfor er f dν m f dν 2ɛ (1 + f + ɛ) + g dν m g dν og gås til grænsen, ser vi at f dν m f dν 2ɛ (1 + f + ɛ). Men vi valgte selv ɛ, og ved at skrue på den, ser vi at f dν m f dν = 0. Dette gælder for enhver C c -funktion f, så vi har vist at Trig.Pol.-konvergens medfører C c -konvergens. Og i kraft af sætning 4.6 medfører det i sin tur svag konvergens.
48 Kapitel 4. Svag konvergens