En martingalversion af CLT

Transkript

1 Kapitel 9 En martingalversion af CLT Når man har vænnet sig til den centrale grænseværdisætning for uafhængige, identisk fordelte summander, plejer næste skridt at være at se på summer af stokastiske variable, der er uafhængige, men ikke identisk fordelte. Moralen i de mere raffinerede varianter af CLT er groft sagt at en sum af mange uafhængige variable altid vil være approksimativt normalfordelt, blot de indgående variable er små. Lyapounovs og Lindebergs versioner af CLT giver forskellige tekniske præciseringer af hvad man skulle mene med at variablene er små, men grundliggende går det ud på at man kan udelade enkeltled, uden at det får nævneværdig indflydelse på summen. Princippet om at summer af uafhængige variable stort set er normalfordelt, er sundt. Men det undervurderer rækkevidden af de centrale grænseværdisætninger: Summer af afhængige variable er meget ofte også approksimativt normalfordelte. Mange gængse afhængighedsstrukturer er svage, forstået på den måde at summanderne hver især nok kan være kraftigt afhængige af nogle få af de andre summander, men de er næsten uafhængige af broderparten af summanderne. Derfor vil summen af sådanne variable have en sandsynlighedsteoretisk struktur, der ligner summen af uafhængige variable. Et markant tema i det 20. århundredes sandsynlighedsregning har været at præcisere dette løse ræsonement. Hvad skal man egentlig forstå ved svag afhængighed, og hvordan bærer man sig ad med at kontrollere forskellen mellem den sum man er interesseret i, og en tilsvarende sum af uafhængige variable. Man har typisk arbejdet meget konkret med små modelklasser, fordi den teoretiske indsigt, der kunne givet det generelle schwung, har manglet. Der findes store mængder artikler med fokus på 165

2 166 Kapitel 9. En martingalversion af CLT 1) U-statistics (en type summer med høj grad af symmetri) 2) Stationære processer 3) Markov processer Det store gennembrud kom omkring 1970, hvor det lykkedes for en række matematikere, mere eller mindre uafhængigt af hinanden, at formulere og bevise centrale grænseværdisætninger i en martingalramme. Senere arbejder har næsten uden undtagelse taget udgangspunkt i martingalresultaterne. Martingalbegrebet er en af sandsynlighedsregningens største gaver til menneskeheden. Det er ikke indlysende at martingaler skulle være særligt nyttige: det er ikke klart at der findes særlig mange interessante martingaler, og det er slet ikke klart at martingalegenskaben tillader at der kan drages interessante konklusioner. Men et par generationer senere, kan vi konstatere at Doob, med sin introduktion af martingaler i 1940, virkelig ramte en guldåre: den moderne tilgang til at studere et hvilket som helst stokastisk fænomen er at lede efter en associeret martingal, som man derefter studerer ved hjælp af martingalmetoder. Pointen er selvfølgelig at martingalerne findes overalt i naturen og at martingalegenskaben viser sig at tillade meget stærke strukturelle konklusioner. Det er så at sige en del af martingalers natur, at disse strukturelle sætninger er nemme at anvende, men vanskelige at bevise. Den eneste oplagte martingalsætning er sætningen om optional sampling - martingalerne er simpelthen skabt til at kunne tages på stokastiske tidspunkter, det er deres raisson d etre. Men i andre sammenhænge er det slet ikke klart hvordan man skal gå frem, og de nødvendige beviser bliver fulde af tricks. Selv efter mange års beskæftigelse med martingaldynamik, er det kun de færreste, der når frem til at betragte f.eks. opkrydsningslemmaet som en naturlig ide. 9.1 Martingaldifferenser Vi husker at en filtrering (F n ) n N er en voksende følge af del-σ-algebraer af et målbart rum (Ω,F). Ofte udvider vi filtreringen med en tid 0 algebra F 0. I mangel af bedre kan man altid bruge den trivielleσ-algebra F 0 ={,Ω}. En følge af stokastiske variable (X n ) n N på (Ω,F, P) siges at være tilpasset filtreringen (F n ) n N hvis X n erf n -målelig for hvert n.

3 9.1. Martingaldifferenser 167 I de fleste sammenhænge kommer en filtrering til verden ud fra en initial stokastisk variabel Z og en stokastiske proces Y 1, Y 2,..., på den måde at F n =F(Z, Y 1,...,Y n ). Hvis alle de indgående variable er reelle, så er processen (X n ) n N tilpasset denne filtrering, hvis og kun hvis der findes funktionerφ n :R n+1 Rså X n =φ n (Z, Y 1,...,Y n ). Tilpassethed er altså blot en fancy, målteoretisk måde at sige, at X-værdierne er givet ved Z- og Y-værdierne, på en sådan måde at kender man de første n Y er, så kender man også de første n X er. Det kan være at X erne er lig med Y erne, eller det kan være at X erne repræsenterer informationen i Y erne i en eller anden reduceret form. Pointen er blot at kender man Y erne, så kender man også X erne. I dette billede svarer Z til den viden man har, når uret går i gang. Definition 9.1 En reel stokastisk proces (X n ) n N er en martingaldifferens, relativt til filtreringen (F n ) n N, hvis 1) (X n ) n N er tilpasset (F n ) n N, 2) E X n < for alle n N, 3) E(X n F n 1 )=0 n.s. for alle n N. Bemærk at en martingaldifferens (X n ) n N opfylder at E(X n )=E(E(X n F n 1 ))=E(0)=0 for alle n N. Hvis (X n ) n N er en martingaldifferens, så vil S n = i=1 X i for n N, være en martingal, relativt til den samme filtrering, og alle variablene i denne martingal vil have middelværdi 0. Omvendt, hvis (S n ) n N er en martingal, hvor alle variablene har middelværdi 0, så vil X 1 = S 1, X n = S n S n 1 for n=2, 3,...

4 168 Kapitel 9. En martingalversion af CLT være en martingaldifferens. Så en martingaldifferens repræsenterer så at sige samme stokastiske fænomen som en martingal, blot er synsvinklen forskubbet en anelse. Eksempel 9.2 Hvis variablene (X n ) n N er uafhængige og alle har middelværdi 0, så udgør følgen en martingaldifferens med hensyn til den naturlige filtrering Det gælder nemlig at F n =F(X 1,..., X n ). E(X n F n 1 )=E(X n X 1,..., X n 1 ) n.s. = E(X n )=0 for alle n N. Martingalen, hørende til denne martingaldifferens, er hvad vi normalt kalder en random walk. Vi vil typisk interessere os for kvadratisk integrable martingaldifferenser, altså martingaldifferenser (X n ) n N så E X n 2 < for alle n N. Det giver det anledning til at indføre de betingede varianser V n = V(X n F n 1 )=E(X n 2 F n 1 ) n.s. for alle n N. Man kan også have fornøjelse af variablene W n = V m. I martingalterminologi kaldes processen (W n ) n N for kompensatoren for martingalen (S n ) n N. Man viser let at S n 2 W n er en martingal. Man kan bemærke at i random walk tilfældet, hvor X erne er uafhængige, er kompensatoren ikke-stokastisk, nemlig W n = E X 2 n.

5 9.2. CLT for martingale difference arrays 169 Vi kommer til at arbejde med såkaldte martingale difference arrays eller blot MDA er. Det er trekantsskemaer (X n m ) af reelle stokastiske variable, X 1 1 X 2 1 X 2 2 X 3 1 X 3 2 X sådan at hver række i skemaet udgør en martingaldifferens. For at undgå notationsmæssigt besvær, forestiller vi os at den n te række i skemaet indeholder præcis n variable X n 1, X n 2,..., X n n. Ligeledes for at undgå notationsmæssigt besvær, forestiller vi os en fast filtrering (F n ) n N der bruges i alle rækker. I princippet kunne man godt arbejde med et trekantsskema afσ-algebraer (F n m ), for vi har intetsteds brug for atσ-algebraerne i de forskellige rækker skulle være relaterede, men i praksis ville vi ikke have noget at bruge den vundne generalitet til. Under disse notationsmæssige bekvemmeligheder, er antagelserne om et MDA at 1) X n m er F m -målelig for alle n N,,...,n, 2) E X n m < for alle n N,,...,n, 3) E(X n m F m 1 )=0 n.s. for alle n N,,...,n. Normalt vil vi antage at alle indgående variable har 2. moment. Udfra et sådan trekantsskema, er det naturligt at indføre de kumulerede summer indenfor rækkerne, S n m = m X n k for n N,,...,n. En central grænseværdisætning vil i denne sammenhæng være et udsagn om at de fulde rækkesummer S n n konvergerer i fordeling mod en normalfordeling for n. 9.2 CLT for martingale difference arrays Under en antagelse om rækkevis uafhængighed, kommer en central grænseværdisætning for et trekantsskema til verden hvis man kan garantere at variansen af rækkesummerne konvergerer mod en fast værdi og at leddene er små (Lyapounovs betingelse eller Lindebergs betingelse).

6 170 Kapitel 9. En martingalversion af CLT Når man generaliserer til martingaldifferens skemaer, skal man stadig sikre sig at leddene er små. Men betingelsen om at variansen af rækkesummerne skal konvergere, ændres fundamentalt. Den nye betingelse bliver om de rækkevise kompensatorer, E(X 2 n m F m 1 ), (9.1) (der jo er stokastiske variable) konvergerer i sandsynlighed mod en konstant, forskellig fra nul. Det er denne konstant, der kommer til at optræde som variansen i grænsenormalfordelingen. Uden tab af generalitet, vil vi antage at konstanten er 1. For at gøre notationen lidt lettere, indfører vi de betingede varianser af variablene i trekantsskemaet, V n m = E(X n m 2 F m 1 ) for n N,,...,n, og de tilsvarende kumulerede størrelser, W n m = m V n k for n N,,...,n, der repræsenterer kompensatorerne indenfor rækkerne. Bemærk at V n m erne alle er ikke-negative, og at W n m derfor vokser med m. Bemærk også at W n m erf m 1 -målelig. I første omgang vil vi yderligere antage at W n n 2, eller ækvivalent dermed, at W n m 2 n.s. for alle n N,,...,n. Bemærk at en begrænset følge af stokastiske variable er en uniformt integrabel følge. Dermed kan vi uden videre slutte at hvis de konvergerer i sandsynlighed, så konvergerer de også konvergerer i L 1. Lemma 9.3 Lad (X n m ) være et trekantsskema af reelle stokastiske variable med 3. moment. Antag at der findes en filtrering (F n ) n N, der gør hver række i skemaet til en martingaldifferens. Antag endvidere at Hvis E(X 2 n m F m 1 ) P 1 for n. E(X 2 n m F m 1 ) 2 n.s. for alle n N, (9.2)

7 9.2. CLT for martingale difference arrays 171 og hvis skemaet opfylder Lyapounovs betingelse, E X n m 3 0 for n, (9.3) så vil rækkesummerne S n n = n X n m opfylde at S n n D Z for n hvor grænsevariablen Z er N(0, 1)-fordelt. Bemærk: Det er uvæsentligt hvilken øvre grænse man bruger i (9.2) - vi kan erstatte 2 med et hvilket som helst c > 1 uden at ændre på beviset og uden at ændre på lemmaets anvendelighed. Bevis: Målet er at bevise følgende påstand: e i S n n t+w n n t 2 /2 dp 1 for n, (9.4) for hvert t R. Hvisφ n (t) er den karakteristiske funktion for S n n har vi nemlig at φ n (t) e t2 /2 = e i S n n t+t 2 /2 dp= e i S n n t+w n n t 2 /2 dp+ e i S n n t (e t2 /2 e W n n t 2 /2 ) dp P Da W n n 1 vil integranden i sidste integral konvergerer mod 0 i sandsynlighed, begrænset af e t2. Derfor konvergerer integralet mod nul. Konklusionen er at (9.4) medfører at φ n (t) e t2 /2 1 for n, eller om man vil at φ n (t) e t2 /2 for n. Vi genkender grænsen som den karakteristiske funktion for standard normalfordelingen. Så en henvisning til kontinuitetssætningen, viser nu at S n n konvergerer i fordeling mod en standard normalfordeling. For at vise (9.4), holder vi t fast, og indfører de stokastiske variable Q n m = e i S n m t+w n m t 2 /2, Q n m = e i S n (m 1) t+w n m t 2 /2.

8 172 Kapitel 9. En martingalversion af CLT Ideen med Q erne er sådan set klar nok: vi ønsker at vise at Q n n 1 dp 0, og det er næppe helt urimeligt at prøve at nedbryde dette problem ved at observere at Q n n 1= Q n m Q n (m 1), hvor vi underforstår de trivielle definitioner S n 0 = 0 og Q n 0 = 1. Det er mere uklart hvad vi skal med Q erne. Men observer at Dermed er Q n m = e i X n m t Q n m, Q n (m 1) = e V n m t 2 /2 Q n m. Q n n 1= (e i X n m t e V n m t 2 /2 ) Q n m. Den første pointe er nu at Q n m erf m 1 -målelig. Dermed er E(Q n n 1)= = = ) E (e i X n m t e V n m t 2 /2 ) Q n m ( )) E E ((e i X n m t e V n m t 2 /2 ) Q n m F m 1 E (E ( e i X n m t e V n m t 2 /2 ) ) F m 1 Q n m Den anden pointe er at Q n m er begrænset af e t2, og dermed er EQ n n 1 E E ( e i X n m t e V n m t 2 /2 ) F m 1 e t2 Taylors formel brugt på real- og imaginærdel af den komplekse eksponentialfunktion, giver at e i y = 1+i y y2 2 + r 1(y), r 1 (y) y 3 (9.5) 3 for y R. Tilsvarende fås at e y/2 = 1 y 2 + r 2(y), r 2 (y) y2 8,

9 9.2. CLT for martingale difference arrays 173 for y>0. Dermed er E ( e i X n m t e V n m t 2 /2 ) F m 1 = E ((1+i X n m t X2 n m t2 2 = E ( r 1 (X n m t) F m 1 ) r2 (V n m t 2 ) ) + r 1 (X n m t) (1 V n,m t 2 ) ) + r 2 (V n m t 2 ) F m 1 2 idet vi udnytter at den betingede middelværdi af X n m er nul, og at det betingede 2. moment per definition er lig V n m. Med begrænsningerne på restleddene, får vi E ( e i X n m t e V n m t 2 /2 F m 1 ) E ( r1 (X n m t) F m 1 )+ r 2 (V n m t 2 ) E ( X n m 3 ) t 3 F m V n m 2 t 4. 8 Den samlede konklusion på alle disse vurderinger bliver at E (Q n n 1) e t2 t 3 E X n m 3 + t4 E Vn 2 m 3 8 og tilbage står kun at vise at begge disse summer går mod nul. Den første sum gør det ifølge Lyapounov-antagelsen. Den anden sum gør det, hvis vi kan vise at for i så fald har vi at begrænset af 4, og derfor vil max V P n m 0, (9.6),...,n V n m 2 max,...,n V n k E V 2 n m 0 P V n m 0 1=0 for n. Så lad os vise (9.6). For hvert c>0 findes et d>0 så Derfor er x 2 c+d x 3. V n m = E (X n m 2 F m 1 ) c+de ( X n m 3 F m 1 ) c+d E ( X n m 3 F m 1 ).

10 174 Kapitel 9. En martingalversion af CLT Denne øvre grænse afhænger ikke af m, så Og integrerer vi, ser vi at max V n m c+d,...,n Lyapounov-betingelsen sikrer at E ( X n m 3 F m 1 ). E max,...,n V n m c+d E X n m 3. lim sup n E max,...,n V n m c, og eftersom argumentet kan gennemføres for ethvert c, ser vi at max,...,n V n m må konvergere mod nul i L 1 -forstand. Og desmere i sandsynlighed. Sætning 9.4 (Brown) Lad (X n m ) være et trekantsskema af reelle stokastiske variable med 3. moment. Antag at der findes en filtrering (F n ) n N, der gør hver række i skemaet til en martingaldifferens. Antag endvidere at E(X 2 n m F m 1 ) P 1 for n. (9.7) Hvis skemaet opfylder den betingede Lyapounov betingelse, E ( X n m 3 ) P F m 1 0 for n, (9.8) så vil rækkesummerne S n n = n X n m opfylde at S n n D Z for n hvor grænsevariablen Z er N(0, 1)-fordelt. Bevis: I det store og hele er arbejdet gjort i lemma vi skal bare bruge lidt martingal-teknologi til at reducere den generelle situation til situationen fra lemmaet.

11 9.2. CLT for martingale difference arrays 175 Analogt med W n m -størrelserne indfører vi de rækkevist kumulerede betingede absolutte 3. momenter, m Z n m = E ( X n k 3 ) F k 1. Indfør nu variablene X n m=x n m 1 (Wn m 2, Z n m 1). Det er uvæsentligt hvad man præcis vælger som øvre grænse for Z erne - enhver strengt positiv øvre grænse vil virke lige så godt som 1. Fordi indikatorfunktionen erf m 1 -målelig, ser vi let at disse stjernede variable udgør et martingale difference array med hensyn til den oprindelige filtrering. Man viser endvidere let at den nye kompensator bliver m Wn m = V n k 1 (Wn k 2, Z n m 1). Heraf ser vi at W n m 2. Da W n m vokser med m, ser vi også at W n m = W n m for,...,n på (W n n 2, Z n m 1). Det følger af (9.7) at P(W n n 2) 1 og det følger af (9.8) at P(Z n n 1) 1. Dermed ser vi at W n n Wn P n 0, og derfor vil W n n P 1. For at kunne anvende lemma 9.3 på det stjernede trekantsskema mangler vi at vise at det stjernede skema opfylder den ubetingede Lyapounov-betingelse (9.3). Men hvis vi indfører m Zn m = E ( Xn ) m k 3 F k 1 = E ( X n k 3 ) F k 1 1(Wn m 2, Z n m 1), ser vi ved samme type argumentation som ovenfor at Z n m Z n m, Z n m 1 for alle,...,n. P Da Z n n 0 vil også Z P n n 0, og da Z n n 1 kan vi faktisk styrke konklusionen til at Zn n 0 i L 1 -forstand. Men E ( Zn n) = E E ( Xn ) k 3 F k 1 = E ( E ( )) Xn k 3 F k 1 = E Xn k 3,

12 176 Kapitel 9. En martingalversion af CLT og da alle variable i denne udregning er ikke-negative, kan vi faktisk konkludere at den ubetingede Lyapounov-betingelse (9.3) er opfyldt for det stjernede trekantsskema. Vi ser således at lemma 9.3 kan bruges på det stjernede trekantsskema, og derfor vil X n m D N(0, 1). Men på (W n n 2, Z n n 1) er n X n m = n X n m, og da vi allerede ved at P(W n n 2, Z n n 1) 1, ser vi at Xn m P X n m 0. Det følger derfor af Slutskys sætning at X n m = Xn m+ ( X n m Xn m) N(0, D 1). Med et vist arbejde kan man erstatte 3. moment betingelsen i Browns sætning med nogle Lindeberg-agtige betingelser. Det er tilstrækkeligt at X erne har 2. moment, opfylder (9.7) og opfylder at E ( ) P Xn 2 m 1 ( Xn m >c) F m 1 0 for n, (9.9) for alle c>0 for at konklusionen i Browns sætning kan opretholdes.