Ergodeteori for markovkæder på generelle tilstandsrum.

Transkript

1 KØBNHAVNS UNIVRSITT STATISTIK 2B AFDLING FOR Søren Feodor Nielsen TORTISK STATISTIK 28 februar 2002 rgodeteori for markovkæder på generelle tilstandsrum 1 Introduktion 11 Monte Carlo integration Monte Carlo integration betegner anvendelse af store tals lov til beregning af integraler Lad os forestille os at vi er interesseret i integralet h(x)dµ(x) (1) Hvis µ er en sandsynlighed kan integralet beregnes ved at simulere (i princippet) uendeligt mange uafhængige identisk fordelte stokastiske variable, X 1, X 2,, og så tage gennemsnittet 1 n lim h(x i ) = h(x)dµ(x) (2) n n i=1 At antage at µ er en sandsynlighed er ikke nogen stor restriktion De fleste af de integraler, vi er interesserede i, er netop middelværdier (eller sandsynligheder), og desuden kan (1) ofte skrives om til et integral af en funktion h = h/f mht en sandsynlighed der har tæthed f mht µ; i (2) skal h så erstattes med h Monte Carlo integration kan være meget effektivt sammenlignet med numerisk integration, særligt hvis integralet er et integral mht et mål på et stort rum (R k med k stor) Det kan i mange sammenhænge være svært at simulere direkte fra fordelingen µ, særligt måske i de tilfælde, hvor Monte Carlo integration ellers ville være en god ide i forhold til almindelig numerisk integration Her er Markov chain Monte Carlo MCMC mellem venner ofte et fornuftigt alternativ Metoden bygger på rgodesætningen for irreducible, positive markovkæder (MJ, Sætning 7411): Hvis vi kan simulere en irreducibel, positiv markovkæde, X 1, X 2,, som har µ som stationær fordeling, så kan vi ved hjælp af rgodesætningen beregne integralet (1) som grænsen af gennemsnittet 1 n n i=1 h(x i) Det er vigtigt at bemærke, at eftersom rgodesætningen for markovkæder (MJ, Sætning 7411) ikke kræver, at kæden startes i den stationære begyndelsesfordeling (vi kan feks starte den i et vilkårligt fast punkt), så behøver vi ikke at kende den stationære begyndelsesfordeling; vi skal bare finde nogle overgangssandsynligheder, som har µ som stationær fordeling Det kan nok umiddelbart synes svært at finde sådanne overgangssandsynligheder, og helt uden kendskab til µ går det naturligvis heller ikke Men der findes 1

2 11 Monte Carlo integration generelle metoder til at konstruere passende markovkæder, for eksempel hvis punktsandsynlighederne µ i er kendt pånær normeringskonstanten, dvs hvis µ i = µ i /c hvor c er en ukendt konstant, men µ i er kendt Selv om vi i princippet kan finde normeringskonstanten ved at summere de unormerede punktsandsynligheder, så vil det i praksis være umuligt med mindre støtten for µ er endelig og forholdsvis lille eller de unormerede punktsandsynligheder har en specielt pæn form; hvis støtten er meget stor, kan det simpelthen ikke lade sig gøre I næste afsnit skal vi se en generel metode til kontruktion af markovkæder med en given stationær begyndelsesfordeling µ udfra de unormerede sandsynligheder (µ i ) i Men først et eksempel ksempel Lad X = (X ij ) i,j=1,,n antage værdier i = {0, 1} n2 Kald X ij og X i j naboer, hvis i i + j j = 1 (se Figur 1) Ising modellen, som benyttes i statistisk x i 1j x ij 1 x ij x ij+1 x i+1j Figur 1: Ising modellen: x ij s naboer fysik og i billedanalyse, antager at sandsynligheden for at X ij = x ij givet resten af X ij erne kun afhænger af X ij s naboer: P {X ij = x ij naboer} = exp( β naboer 1 {x ij x i j }) exp( β naboer 1 {0 x i j }) + exp( β naboer 1 {1 x i j }) (3) Her betegner naboer at vi summer over X ijs 4 naboer t ikke-trivielt resultat siger så, at den simultane fordeling af X er givet ved P {X = x} = 1 ϕ(β) exp( β 1 {xij x i j }), (4) hvor summen tages over alle par af naboer, og ϕ(β) er en normeringskonstant For at finde ϕ(β) numerisk skal man beregne en sum på 2 n2 led Selv for moderate værdier af n er der tale om et astronomisk antal led: Hvis n = 10 og vi kan regne 1 milliard tabeller ud i sekundet, vil det tage os milliarder år at blive færdige Og n = 10 er nok alt for småt til at Ising modellen kan bruges til noget interessant Det er derimod let at lave en markovkæde med (3) som stationær fordeling 2

3 12 Metropolis-Hastings algoritmen 12 Metropolis-Hastings algoritmen Lad os antage at vi kender punktsandsynlighederne µ i, pånær normering, for en sandsynlighed µ på en højst numerabel mængde Specielt kan vi altså beregne kvotienterne, µ i /µ j, mellem to vilkårlige punktsandsynligheder Vi skal konstruere en overgangsmatrix P, der har µ som stationær fordeling Med andre ord skal P = [p ij ] i,j opfylde at µ j = i µ i p ij j Lad nu Q være en vilkårlig overgangsmatrix Vi kalder Q forslagsfordelingen og definerer { 1 hvis 0 µ i q ij µ j q ji α ij = µ j q ji (5) µ i q ij hvis µ j q ji < µ i q ij for i, j Bemærk at α ij kun afhænger af kvotienten mellem µ i og µ j Vi ser at (med passende fortolkning af division med 0) α ij = 1 µ jq ji µ i q ij [0; 1] og kalder α ij acceptsandsynligheden (for et spring fra i til j) Udfra forslagsfordelingen Q og acceptsandsynlighederne α ij kan vi konstruere en overgangsmatrix P med µ som stationær begyndelsesfordeling Lemma 11 Lad µ være en fordeling på og lad Q = [q ij ] i,j være en vilkårlig overgangsmatrix på Definer acceptsandsynlighederne (α ij ) i,j ved (5) Så er µ en stationær begyndelsesfordeling for overgangsmatricen P = [p ij ] i,j givet ved { α p ij = ij q ij hvis i j 1 k i α (6) ikq ik hvis i = j Bevis Først bemærkes at P faktisk er en overgangssandsynlighed på, dvs at p ij 0 og j p ij = 1 Dernæst observerer vi at for i j er µ i p ij = { µi q µ i α ij q ij = ij hvis µ i q ij µ j q ji µ j q ji hvis µ i q ij > µ j q ji = min(µ i q ij, µ j q ji ) hvorfor µ i p ij = µ j p ji (7) for alle i, j (tilfældet i = j er naturligvis trivielt) Dermed er µ i p ij = µ j p ji = µ j i i som ønsket Bemærkning Vi ser, at (7) umiddelbart medfører, at µ er den stationære begyndelsesfordeling for P Når parret (µ, P) opfylder (7), siges markovkæden at være tidsreversibel (eller at den opfylder detailed balance) Tidsreversibilitet betyder, at fordelingen af (X 1, X 2,, X n ) er den samme som fordelingen af (X n, X n 1,, X 1 ) Med andre ord kan vi ikke se om kæden løber fremad i tid eller tilbage i tid 3

4 12 Metropolis-Hastings algoritmen I nogle tilfælde kan man faktisk finde en forslagsfordeling Q, så (µ, Q) er tidsreversibel Specielt er så µ en stationær begyndelsesfordeling for Q Af (5) ses at i det tilfælde er alle α ij erne 1, og P givet ved (6) bliver bare Q selv Vi kan nu definere Metropolis-Hastings algoritmen: Metropolis-Hastings algoritmen Lad µ være et sandsynlighedsmål på og Q en overgangsmatrix Lad α ij være givet ved (5) og definer overgangsmatricen P udfra (6) Lad U 1, U 2, være uafhængige, ligefordelte stokastiske variable 1 Simuler X 1 fra en vilkårlig fordeling på (feks en udartet fordeling) Sæt n = 1 2 X n simuleres (foreslås ) fra fordelingen [q Xn,j] j, dvs så fordelingen af X n givet X n er givet ved Q 3 Hvis U n α Xn,X n, så sættes X n+1 = X n (accept ) llers sættes X n+1 = X n 4 Læg 1 til n og gå tilbage til punkt 2 Ideen er altså at bruge overgangsmatricen Q til at foreslå den næste værdi af kæden og så acceptere forslaget med en sandsynlighed, som er tunet til at sikre at µ bliver den stationære fordeling Lemma 11 fortæller os at Metropolis-Hastings algoritmen faktisk genererer en markovkæde med overgangssandsynlighed P givet ved (6): p ij = P {X 2 = j X 1 = i} = P {X 1 = j, U 1 α ij X 1 = i} = q ij α ij for i j Specielt har kæden altså µ som stationær begyndelsesfordeling Hvis P desuden er irreducibel, så er markovkæden positiv, og vi kan bruge den til MCMC-integration Der er ingen generelle kriterier for irreducibilitet for Metropolis-Hastings algoritmen, så i praksis må man se efter om den kæde, man har, faktisk er irreducibel Om den er irreducibel eller ej, afhænger selvfølgelig af Q Feks er P irreducibel, hvis alle q ij erne er strengt positive, men man vælger ofte Q så kun nogle få q ij > 0 Typiske valg af q ij inkluderer: Symmetriske forslag: q ij = q ji (Metropolis algoritmen) Her reducerer acceptsandsynlighederne til α ij = µ j /µ i t specialtilfælde af de symmetriske forslagsfordelinger er q ij = q( i j ) Dette giver en såkaldt random walk Metropolis algoritme Forslagsfordelinger, som ikke afhænger af kædens nuværende tilstand, dvs q ij = q j (independence sampler) ndelig skal Gibbs sampleren nævnes her (det er nok den populæreste MCMC metode), men ikke defineres formelt; vi ser på den i afsnit 52 Gibbs sampler kan opfattes som en Metropolis-Hastings algoritme, hvor (µ, Q) er tidsreversibel Det skal bemærkes, at selv om mange valg af Q giver en irreducibel markovkæde, er det ikke alle valg, der er lige gode: For at få en velfungerende (fremfor bare en fungerende) Metropolis-Hastings algoritme, skal Q vælges med omhu 4

5 13 t eksempel 13 t eksempel Vi skal give et eksempel på en anvendelse af MCMC til løsning af et ikke-trivielt statistisk problem Lad (Y 1, Z 1 ),, (Y N, Z N ) være uafhængige identisk fordelte par af stokastiske variable, således at Y 1 kan antage R forskellige værdier (1, 2,, R eller rød, blå,, grøn) mens Z 1 kan antage S værdier Sådanne observationer repræsenteres ofte i en R S (kontingens-) tabel, X = (X ij ) i=1,,r,j=1,,s, hvor X ij er antal par (Y k, Z k ), som antager værdien (i, j) Vi vil nu teste hypotesen om uafhængighed af inddelingskriterierne, dvs H 0 : Y 1 Z 1 Fra STATISTIK 0 ved vi, at vi kan teste det ved at beregne Pearsons χ 2 - teststørrelse W = i,j (X ij ij ) 2 hvor ij = X ix j ij X og forkaste hypotesen, hvis W er for stor For at vurdere hvad stor betyder, skal vi bruge fordelingen af W Vi ved, at W asymptotisk er χ 2 -fordelt med (R 1)(S 1) frihedsgrader, og en tommelfingerregel siger, at approksimationen er god hvis ij 5 for alle i, j Hvad gør vi, hvis vi ikke er sikre på, at approksimationen er god nok? Hvis tabellen er stor (5RS > N), vil tommelfingerreglen ikke kunne opfyldes n oplagt mulighed er at simulere et stort antal (n) R S tabeller under hypotesen om uafhængighed, og så beregne testsandsynligheden som p = 1 n n k=1 1 {Wk w obs } hvor W k er Pearson teststørrelsen beregnet ud fra den kte simulerede tabel og w obs er den observerede teststørrelse Med andre ord, vi kan (måske) beregne testsandsynligheden ved Monte Carlo integration Fra et simuleringssynspunkt er det et problem, at fordelingerne af Y i og Z i er ukendte; vi ved ikke hvilken fordeling vi skal simulere fra Dette problem kan løses, hvis vi betinger med marginalerne, dvs betinger med rækkesummerne (X i ) i og søjlesummerne (X j ) j Fra STATISTIK 0 ved vi, at række- og sølje-summerne er sufficiente for de ukendte marginale fordelinger Dvs fordelingen af X givet (X i ) i og (X j ) j afhænger ikke af de ukendte parametre under hypotesen Lad nu være mængden af tabeller med række- og søjlesummer som den observerede tabel, x Så er den betingede fordeling af X givet X givet ved P {X = x X } = N ij x ij! i px i i j qx j j x N ij x ij! i px i i j qx j j = 1 ij x ij! x 1 ij x ij! (8) hvor (p i ) i er den ukendte marginale fordeling af Y i erne og (q j ) j fordelingen af Z i erne At de forsvinder fra (8), skyldes sufficiensen Det turde være klart, at normeringskonstanten (summen i nævneren) ikke kan beregnes i andet end meget simple tilfælde; mængden er både stor og svær at holde styr på Vi vil derfor lave en Metropolis- Hastings algoritme, som har fordelingen givet ved (8) som stationær begyndelsesfordeling; dvs µ x er netop det, som står i (8) 5

6 13 t eksempel Vi skal først og fremmest have konstrueret en overgangssandsynlighed på Givet en tabel x kan vi konstruere en ny tabel x ved tilfældigt at udvælge to rækker, r 1 og r 2, og to søjler, s 1 og s 2 I begge tilfælde kan vi vælge at trække med eller uden tilbagelægning som det passer os, men at trække uden tilbagelægning er nok det smarteste Derefter genereres en ny tabel ved at lægge 1 til x ij når (i, j) er (r 1, s 1 ) eller (r 2, s 2 ) og trække 1 fra x ij når (i, j) er (r 1, s 2 ) eller (r 2, s 1 ); se Figur 2 Bemærk at vi ikke kræver at r 1 < r 2 eller lignende x s 2 s 1 j r 1 x r 1 s 2 x r 1 s 1 x r1 r 2 x r 2 s 2 x r 2 s 1 x r2 i x s2 x s1 x x s 2 s 1 j r 1 x r 1 s 2 1 x r 1 s x r1 r 2 x r 2 s x r 2 s 1 1 x r2 i x s2 x s1 x Figur 2: Pivotering: x genereres fra x Det er klart, at denne metode kaldet pivotering giver en ny tabel med de rigtige marginaler Det er også klart, at vi kan være uheldige at komme til at trække 1 fra en celle med x ij = 0 og dermed få en tabel med negative celler Dette problem løses lettest ved at udvide til at indeholde alle tabeller med de marginaler svarende til vores observationer men med x ij Z (i stedet for N 0) Sandsynligheden, µ, udvides så ved at sætte µ x = 0, hvis x indeholder negative celler Man ser, at Q er en symmetrisk forslagsfordeling, så acceptsandsynlighederne er givet ved: ij x ij! α x x = µ x µ x = ij x ij! = x r 2 s 1 x r 1 s 2 (1 + x r 1 s 1 )(1 + x r 2 s 2 ) hvis forslaget x er en tabel med ikke-negative celler og 0 ellers Bemærk i øvrigt at de fleste q x,x = 0; vi foreslår kun spring med ganske få ændringer i tabellen Dermed har vi en Metropolis-Hastings algoritme, som virker bare den er irreducibel Irreducibel betyder her, at vi kan komme fra en vilkårlig tabel til en anden ved bare at pivotere For at indse dette kan man feks definere en metrik på mængden af tabeller med marginaler som x: d(x, x ) = i,j x ij x ij 6

7 14 Generalisering Givet to forskellige tabeller x og x med samme marginaler kan man vælge en række r 1 og en søjle s 1 så x r 1 s 1 < x r 1 s 1 Da marginalerne er ens i de to tabeller findes en ny række r 2 og en ny søjle s 2 så x r 1 s 2 > x r 1 s 2 og x r 2 s 1 > x r 2 s 1 Ved pivotering af x i disse rækker og søjler fås x med d(x, x ) > d(x, x ) Vi kan altså ved pivotering komme tættere og tættere på (og må til sidst faktisk ramme) en vilkårlig tabel t voila, irreducibilitet Algoritmen fungerer altså som følger: Metropolis-Hastings algoritme til test af uafhængighed i en tovejstabel 1 Sæt X 1 = x, vores observerede tabel Beregn Pearsons χ 2 -teststørrelse, w obs Sæt n = 1 2 Vælg tilfældigt rækker og søjler og dan en ny tabel X n ved pivotering (se Figur 2) 3 Accepter X n med sandsynligheden α X nx n 4 Beregn Pearsons χ 2 -teststørrelse, W n+1, for tabellen X n+1 (og gem den) 5 Læg 1 til n og gå til punkt 2 Når algoritmen har kørt længe nok findes testsandsynligheden ved p = 1 n n 1 {Wk w obs } k=1 ksempel n MCMC algoritme for Ising modellen laves på tilsvarende måde: Vælg tilfældigt et felt (i, j) og forslå at skifte værdien af X ij Acceptsandsynlighederne bliver igen en kvotient mellem sandsynlighederne i den stationære fordeling (Ising modellen) Man kan vise, at denne kvotient kun afhænger af X ij s naboer Detaljerne overlades som en (frivillig) opgave til den interesserede læser Bemærkning Man kan faktisk simulere R S-tabeller med givne marginaler direkte (dvs simulere iid tabeller med fordeling givet ved (8); se Patefield, 1981), men det er bestemt ikke oplagt hvordan Det er heller ikke klart, at det er bedre at simulere direkte fremfor at benytte en markovkæde: Man kan generere mange skridt i markovkæden i løbet af den tid, det tager at simulere bare én tabel direkte 14 Generalisering Grunden til at MCMC er blevet et ganske nyttigt redskab i statistikernes redskabskasse, er at det er muligt at udvide rgodesætningen for markovkæder (MJ, Sætning 7411) til markovkæder med generelle tilstandsrum, for eksempel markovkæder, som antager værdier i hele R k eller et andet pænt rum I de to følgende afsnit skal vi først definere sådanne generelle markovkæder og dernæst vise en ergodesætning samt give tilstrækkelige betingelser for at en markovkæde er ergodisk Bemærkning Det er kotyme at sige, at en markovkæde er ergodisk, hvis den er positiv, dvs hvis der findes en stationær begyndelsesfordeling således at den med 7

8 21 Definition denne begyndelsesfordeling bliver en ergodisk proces, også selv om den startes i en anden begyndelsesfordeling Dette skyldes dels at det kan være umuligt at starte kæden i den stationære begyndelsesfordeling, og dels at det er lige meget ; ergodesætningen gælder jo alligevel For at undgå forvirring vil vi i dette notat (og på dette kursus) dog kun omtale en markovkæde som værende ergodisk, hvis den faktisk er en ergodisk proces (og derfor specielt er stationær) Det er også kotyme at lade markovkæder være indiceret ved N 0 fremfor N men rent notationsmæssigt er det simplere at benytte N som indeksmængde, så det vil vi gøre i det følgende 2 Markovkæder på generelle tilstandsrum 21 Definition Lad (, ) være et målbart rum og µ et sandsynlighedsmål defineret derpå Vi vil antage, at (, ) er et Borelrum, en nyttig men ikke strengt nødvendig antagelse Lad desuden (ν x ) x være en markovkerne fra (, ) til (, ), dvs en klasse af sandsynlighedsmål på (, ), som opfylder at afbildningen x ν x (B) er målelig for hvert B Vi ved, at integrationen af (ν x ) x mht µ giver et sandsynlighedsmål på produktrummet (, ), som er entydigt givet ved at sandsynligheden for en produktmængde B 1 B 2 er B 1 ν x (B 2 )dµ(x) Udfra markovkernen (ν x ) x kan vi definere en markovkerne (ν (x,x)) (x,x) fra til ved at sætte ν x,x = ν x ; der er tydeligvis tale om et sandsynlighedsmål for hver (x, x), og for hvert B er (x, x) ν x,x(b) en sammensætning af målelige afbildninger og dermed målelig Vi kan integrere denne markovkerne mht det mål, vi lige har lavet, nemlig integrationen af (ν x ) x mht µ Derved fås et sandsynlighedsmål på ( 3, 3 ); det er givet ved at sandsynligheden for en målelig produktmængde B 1 B 2 B 3 er ν x (B 3 )dν x (x)dµ(x ) x B 2 x B 1 Vi kan naturligvis gentage denne konstruktion, definere stadig større markovkerner udfra den oprindelige og integrere mht de sandsynlighedsmål, vi lige har dannet, og derved få sandsynlighedsmål på produktrummene ( n, n ) for hvert n N Alt dette svarer til følgende algoritme: Markov kæde 1 Simuler X 1 fra fordelingen µ Sæt n = 1 2 Givet værdien af (X 1,, X n ) simuleres X n+1 fra fordelingen ν Xn 3 Læg 1 til n og gå til punkt 2 Det vil nu være naturligt at udvide disse endeligdimensionale fordelinger til et sandsynlighedsmål på følgerummet (, ) 8

9 22 Generel teori Sætning 21 Lad µ være et sandsynlighedsmål på et Borelrum (, ) og (ν x ) x en markovkerne fra (, ) til (, ) Så findes netop et sandsynlighedsmål, ˆPµ, på følgerummet (, ) således at de endeligdimensionale fordelinger ˆP µ n, defineret ved opfylder ˆP n µ (B n) = ˆP µ {x : (x 1,, x n ) B n } for B n n, ˆP µ(b) 1 = µ(b) ˆP µ n+1 (B n B) = ν xn (B)d ˆP µ n (x 1,, x n ) (x 1,,x n) B n (9) for hvert n N og alle B n n og B Bevis I tilfældet (, ) = (R, B) følger resultatet af Kolmogorovs konsistenssætning (se appendix eller MJ, s 132); besværet med at efterse konsistensbetingelsen overlades til en opgave (KDH, opgave 101) Udvidelse til generelle Borelrum kan ske som i beviset for MJ Sætning 425; se appendix Vi kan nu definere markovkæder på generelle tilstandsrum Definition 22 Lad µ være et sandsynlighedsmål på et Borelrum (, ) og (ν x ) x en markovkerne fra (, ) til (, ) n følge af stokastiske variable X = (X 1, X 2, ) er en tidshomogen markovkæde med tilstandsrum, overgangssandsynligheder (ν x ) x og begyndelsesfordeling µ, hvis fordelingen af X er ˆP µ I det følgende skal vi være dovne og typisk bare tale om markovkæder med begyndelsesfordeling µ i stedet for at specificere hele smøren Både overgangssandsynlighederne og tilstandsrummet vil oftest være givet udfra sammenhængen, mens flere forskellige begyndelsesfordelinger vil blive benyttet Dette afspejler sig også i vores valg af notation ˆP µ, hvor kun µ optræder Som sædvanlig vil vi betragte processer, her markovkæder, X, defineret på en bagvedliggende sandsynlighedsfelt (Ω, F, P ) For at minde os selv om hvilken begyndelsesfordeling vores markovkæde har vil vi skrive P µ i stedet for P hvis X er en markovkæde med fordeling ˆP µ = X(P ) Dette skal opfattes som notation; der er ingen garanti for at et sådant mål faktisk findes for et vilkårligt µ (det sædvanlige problem: X er ikke nødvendigvis surjektiv) Hvis vi vil skifte begyndelsesfordeling gøres dette bedst ved at kigge på koordinatrepræsentationsprocessen 22 Generel teori Vi definerer lidt mere notation Vi sætter ν x (n+1) (B) = ν y (n) (B)dν x (y) n N 0 (10) idet vi lader ν x (0) være ε x, etpunktsmålet i x Dermed er ν x (1) induktion, at (ν x (n) ) x er en markovkerne = ν x Man indser ved 9

10 22 Generel teori Sætning 23 For m, n N 0 er ν (n+m) x (B) = ν y (n) (B)dν x (m) (y) (11) Bevis Lad n være fast men vilkårlig Resultatet følger så ved induktion over m: Induktionsstarten (m = 0) er triviel Antag nu at (11) holder for et givet m N 0 Vi skal så indse, at (11) holder for m + 1: ν x (n+(m+1)) (B) = = ν y (n+m) (B)dν x (y) = ν (n) z (B)dν (m) (z)dν x (y) ν z (n) (B)dν x (m+1) (z) Hvis X er en markovkæde med overgangssandsynligheder (ν x ) x, så er (ν x (n) ) x de betingede fordelinger af X n+1 givet X 1, kaldet n-trins overgangssandsynlighederne Antag nemlig at det er rigtigt for n, så er P µ {X 1 A, X n+1 B} = = = = n+1 ˆP µ (A } {{ } B) n 1 gange ν xn (B)d ˆP µ n (x 1,, x n ) (x 1,,x n) A A A ν xn (B)dν x (n 1) (x n )dµ(x) ν x (n) (B)dµ(x) Ligningerne (11) kaldes Chapman-Kolmogorov ligningerne De siger at n-trin overgangssandsynlighederne er blandingen af m-trins overgangssandsynlighederne og n m-trins overgangssandsynlighederne Vores markovkæde har desuden markovegenskaben: Sætning 24 Hvis X er en markovkæde med begyndelsesfordeling µ, og h : (, ) (R, B) er en begrænset, målelig funktion, så er µ [h(x n+1, X n+2, ) X 1,, X n ] = µ [h(x n+1, X n+2, ) X n ] P -ns på mængden {X n = x} = x [h(x 2, X 3, )] Inden vi viser markovegenskaben, skal vi lige sikre os at vi ved hvad vi mener med notationen i Sætning 24 µ betegner middelværdi mht P µ Tilsvarende er x middelværdi mht P x, som giver X begyndelsesfordelingen ε x, hvor vi i notationen har forkortet index ε x til slet og ret x Det første lighedstegn i (12) gælder P = P µ ns mens det andet lighedstegn gælder P -ns på mængden {X n = x} Det bør bemærkes, at vi ikke antager eksistensen af P x ; udsagnet i sætningen er derimod, at middelværdierne ikke afhænger af begyndelsesfordelingen Markovegenskaben siger følgende: Givet nutiden afhænger fremtiden ikke af fortiden, altså at P µ {X n+1 B 1, X n+2 B 2,, X n+m B m X 1,, X n } =P µ {X n+1 B 1, X n+2 B 2,, X n+m B m X n } =P x {X 2 B 1, X 3 B 2,, X m+1 B m } på mængden {X n = x} y (12) 10

11 22 Generel teori for alle m N (vælg h = 1 B1 B m ) Det sidste lighedstegn i (12) er strengt taget ikke markovegenskaben, men tidshomogeniteten af markovkæden Bevis Det er nok at indse (MJ Sætning 429), at for alle m N kan de betingede fordelinger af (X n+1,, X n+m ) givet (X 1,, X n ) vælges så de kun afhænger af værdien af X n og er givet ved ˆP m x n (B 1 B m ) = ˆP m+1 x n ( B 1 B m ) (13) på {X n = x n } Vi starter med at bemærke, at ˆP x m n er en sandsynlighed på ( m, m ) for hvert x n For m = 1 er ˆP x 1 n (B) = ˆP x 2 n ( B 1 ) = ν xn (B 1 ), som tydeligvis er målelig, mens det for m > 1 følger ved induktion at ˆP m x n (B) = m+1 ˆP x n ( B 1 B m ) = ν ym 1 (B m )d ˆP x m n (x, y 1,, y m 1 ) B 1 B m 1 m 1 = ν ym 1 (B m )d ˆP x n (y 1,, y m 1 ) B 1 B m 1 er en målelig funktion af x n For at vise at ˆP x m n også integrerer rigtigt benyttes igen induktion: B n ˆP 1 x n (B 1 )d ˆP n µ (x 1,, x n ) = B n ν xn (B 1 )d ˆP n µ (x 1,, x n ) = ˆP n+1 µ (B N B 1) og B n ˆP x m n (B 1 B m )d ˆP µ n (x 1,, x n ) = ˆP x m+1 n ( B 1 B m )d ˆP µ n (x 1,, x n ) B n m 1 = ν ym 1 (B m )d ˆP B n x n (y 1,, y m 1 )d ˆP µ n (x 1,, x n ) B 1 B m 1 n+m 1 = ν ym 1 (B m )d ˆP µ (x 1,, x n, y 1,, y m 1 ) B n B 1 B m 1 n+m = ˆP µ (B n B 1 B m ) ˆP m 1 Bemærkning Forskellen mellem ˆP x m og x er subtil Den første er fordelingen af (X 1,, X m ) når X 1 = x ns, mens den anden er den betingede fordeling af (X 2,, X m ) givet X 1 = x Analogt til tilfældet med numerable udfaldsrum definerer vi Definition 25 Begyndelsesfordelingen µ for en markovkæde på med overgangssandsynligheder (ν x ) x er en stationær begyndelsesfordeling hvis µ(b) = ν x (B)dµ(x) for alle B 11

12 31 Overgangssandsynligheder med tæthed og indser Sætning 26 Hvis X er en markovkæde på med overgangssansynligheder (ν x ) x og begyndelsesfordeling µ, der er en stationær begyndelsesfordeling, så er X en stationær proces Bevis Hvis X 1 har fordeling µ, så har X 2 fordelingen givet ved P µ {X 2 B} = ν x (B)dµ(x) = µ(b) hvorfor X 1 og X 2 er ens fordelt Dermed fås for et vilkårligt n N P µ {(X 2,, X n+1 ) B 1 B n } = [1 B1 (X 2 )[1 B2 B n (X 3,, X n+1 ) X 2 ]] = [1 B1 (X 1 )[1 B2 B n (X 2,, X n ) X 1 ]] =P µ {(X 1,, X n ) B 1 B n } som ønsket Definitionerne af markovkæder på generelle tilstandsrum, n-trins overgangssandsynligheder, samt markovegenskaben og Chapman-Kolmogorov ligningerne ses at være helt parallelle til teorien for markovkæder på numerable tilstandsrum Vi kunne nu forsætte med at definere begreber som irreducibilitet og aperiodicitet og klassificere tilstande alt efter om de er rekurrente (persistente) eller transiente Omend disse begreber også er vigtige for markovkæder på generelle tilstandsrum, vil vi gå lige efter at vise en udgave af Sætning 7411 i MJ for generelle markovkæder 3 Asymptotisk stabilitet 31 Overgangssandsynligheder med tæthed Vi skal starte med at indskrænke os til et specialtilfælde Denne indskrænkning sikrer os tilpas simple beviser men er ellers ikke nødvendig: Man kan for generelle markovkæder beskrevet i afsnittet ovenfor vise resultater svarende til vores hovedresultater i dette og det følgende afsnit; det kræver bare større anstrengelser Lad ρ være et σ-endeligt mål på (, ) Vi vil herefter antage, at ν x er absolut kontinuert mht ρ for alle x Vi kan således skrive ν x = k(x, ) ρ Hvis X er en markovkæde med overgangssandsynligheder ν x, så er funktionen y k(x, y) altså tætheden for fordelingen af X 2 givet X 1 = x Man kan vise, at (x, y) k(x, y) kan vælges målelig som funktion fra ( 2, 2 ) (R, B), og det vil vi herefter gøre Lad nu D = {f L 1 (ρ) : f 0, fdρ = 1} 12

13 31 Overgangssandsynligheder med tæthed være mængden af tætheder for sandsynlighedsmål, som er absolut kontinuerte mht målet ρ Hvis µ = f ρ er begyndelsesfordelingen af vores markovkæde X, kan vi vha Tonellis sætning finde fordelingen af X 2 : P µ {X 2 B} = k(x, y)dρ(y)f(x)dρ(x) = f(x)k(x, y)dρ(x)dρ(y) B Vi ser at den marginale fordeling af X 2 har tæthed y f(x)k(x, y)dρ(x) mht ρ Vi skal tænke på dette som en transformation af f: f f(x)k(x, )dρ(x) Vi kan naturligvis transformere vilkårlige ρ-integrable funktioner (benyt Fubini i stedet for Tonelli) på samme måde og får derved ρ-integrable funktioner som resultat Lad os formelt definere dette som en afbildning på følgende måde: ν (1) : L 1 (ρ) L 1 (ρ) ( f ν (1) f = B ) f(x)k(x, y)dρ(x) y Resultatet af at anvende afbildningen ν (1) på en funktion f er altså en ny funktion ν (1) f(y) = k(x, y)f(x)dρ(x) Specielt fører ν (1) altså D ind i D For hvert fast x er y k(x, y) en tæthed Vi kan derfor transformere denne tæthed med afbildningen ν (1) og derved få en ny tæthed y k (2) (x, y) = ν (1) k(x, )(y) = k(x, z)k(z, y)dρ(z) Ved at benytte Chapman-Kolmogorov ligningerne (11) ser vi, at (k (2) (x, )) x er de betingede tætheder for markovkernen (ν x (2) ) x mht ρ Vi kan fortsætte rekursivt: For hvert n N og x kan vi definere en funktion givet ved y k (n) (x, y) = k(x, z)k (n 1) (z, y)dρ(z) Det ses, at n-trins overgangssandsynlighederne, ν x (n), har tæthed k (n) (x, ) mht ρ, og Chapman-Kolmogorov ligningerne (11) kan dermed angives på tæthedsform ved k (n+m) (x, y) = k (n) (x, z)k (m) (z, y)dρ(z) (14) Idet k (n) (x, y) er tætheden for n-trinsovergangssandsynlighederne, har X n+1 tæthed y k(n) (x, y)f(x)dρ(x) mht ρ, hvis f er tætheden for X 1 Vi ser, at transformationen f ( f(x)k(n) (x, y)dρ(x)) y bare er afbildningen ν (1) anvendt n gange på f, og kalder denne afbildning for ν (n) Vi giver nogle egenskaber ved ν (n) som et lemma: Lemma 31 a) ν (n) er en lineær afbildning b) ν (n) er en positiv afbildning, dvs hvis f L 1 (ρ) er ikke-negativ, så er ν (n) f også en ikke-negativ funktion 13

14 32 rgodesætningen c) For f L 1 (ρ) gælder (ν (n) f) ν (n) (f ) d) ν (n) er en kontraktion, dvs ν (n) f f for f L 1 (ρ) Bevis a) og b) er trivielle, mens c) følger af vurderingen ( [ ]) (ν (n) f) (x) = ν (n) (f + )(x) ν (n) (f )(x) 0 [ ] = ν (n) (f )(x) ν (n) (f + )(x) 0 ν (n) (f )(x) På samme vis indses at (ν (n) f) + (x) ν (n) (f + )(x), hvorfor (ν (n) f) (x) ν (n) ( f )(x); d) følger heraf umiddelbart Det er vigtigt at bide mærke i en fundamental forskel mellem af- ), feks f(y)dν(n) x (y) Sidst- Bemærkning bildningen ν (n) og integraler mht markovkernen (ν x (n) nævnte er en betinget middelværdi givet fortiden n skridt tidligere, [f(x m+n ) X m = x], mens ν (n) f er tætheden for fordelingen af fremtiden X m+n, hvis nutiden X m har tæthed f Bemærk også at ν (1) f er veldefineret for f L 1 (ρ) (men svær at fortolke medmindre f D), mens fdν (n) x er veldefineret for f L 1 (ν (n) x ) 32 rgodesætningen Med disse definitioner på plads kan vi nu komme videre mod at vise store tals stærke lov for passende pæne markovkæder på generelle tilstandsrum Først en central definition Definition 32 Vi siger, at overgangssandsynlighederne (ν x ) x er asymptotisk stabile, hvis der findes en ρ-ns entydig tæthed f 0 D, således at (i) ν (1) f 0 = f 0 (ii) For alle f D: ν (n) f f 0 0 når n Definition 32 kræver to (tre?) ting af overgangssandsynlighederne Først skal der findes en tæthed f 0 således at hvis X er en markovkæde med disse overgangssandsynligheder og begyndelsesfordeling f 0 ρ, så vil den marginale fordeling af X 2 have tæthed f 0 Altså er f 0 ρ den stationære begyndelsesfordeling for markovkæden; hvis vi lader X 1 have tæthed f 0, så er markovkæden en stationær proces Vi kræver altså at der findes en tæthed, f 0, således at markovkæden er stationær hvis begyndelsesfordeling er f 0 ρ Vi kalder f 0 en stationær begyndelsestæthed svarende overgangsandsynlighederne (ν x ) x Vi kræver også, at den stationære tæthed, f 0, er ρ-ns entydig, men betingelse (ii) sikrer faktisk dette Antag nemlig af f 0 også er en stationær tæthed, dvs opfylder (i) Så vil (ii) sikre at f 0 f 0 = ν (n) f0 f 0 0 når n eller med andre ord at f 0 = f 0 ρ-ns Betingelse (i) følger i øvrigt også af betingelse (ii) Antag nemlig at ν (n) f f 0 i L 1 Så vil ν (n+1) f ν (1) f 0 0 i følge kontraktionsegenskaben (Lemma 31 d)) Men 14

15 32 rgodesætningen så må ν (1) f 0 = f 0 ρ-ns Betingelse (ii) er altså den centrale i Definition 32 Definitionen kræver mere end bare stationaritet: Betingelse (ii) siger at uanset hvilken tæthed f D vi bruger i begyndelsesfordelingen, så vil den marginale fordeling af X n konvergere mod den stationære begyndelsesfordeling: P f {X n B} f 0 (x)dρ(x) når n (15) B D for alle B Bemærk at (15) medfører konvergens i fordeling, dvs at X n f0 ρ, men er noget stærkere Bemærk også at betingelse (ii) fra definitionen er stærkere end (15); se KDH, opgave 237 Hvis vi antager asymptotisk stabilitet og starter vores markovkæde i den stationære begyndelsesfordeling, så vil P f0 {X k A, X k+n B} P f0 {X k A}P f0 {X k+n B} = k (n) (x, y)dρ(y)f 0 (x)dρ(x) f 0 (x)dρ(x) A B A ν (n 1) k(x, ) f 0 dρf0 (x)dρ(x) 0 A B B f 0 (y)dρ(y) ved majoriseret konvergens når n Dette antyder, at asymptotisk stabilitet måske er nok til at sikre at markovkæden startet i den stationære begyndelsesfordeling blander og specielt er ergodisk Sætning 33 Hvis X er en markovkæde med asymptotisk stabile overgangssandsynligheder og med den stationære begyndelsesfordeling som begyndelsesfordeling, så blander X Bevis Lad k, m N og B k k og B m m Vi regner: k+n+m P f0 {(X 1,, X k ) B k, (X n+k+1,, X n+k+m ) B m } = ˆP f 0 (B k n B m ) m k+n = ˆP yn (B m )d ˆP f 0 (x 1,, x k, y 1,, y m ) B k n m = ˆP yn (B m )d ˆP x n B k n k (y 1,, y n )d ˆP f k 0 (x 1,, x k ) = ˆP y m (B m)k (n) (x k, y)dρ(y)d ˆP f k 0 (x 1,, x k ) B k ˆP k f 0 (B k ) ˆP m f 0 (B m ) = P f0 {(X 1,, X k ) B k }P f0 {(X 1, X m ) B m } ved majoriseret konvergens når n Resultatet følger nu ved at appellere til MJ Sætning 733 Vi kan nu vise en Store tals stærke lov for markovkæder på generelle rum Sætning 34 Lad X være en markovkæde med asymptotisk stabile overgangssandsynligheder Lad f 0 være den tilsvarende stationære begyndelsestæthed Lad endelig h : (, ) (R, B) være en målelig funktion således at h(x) f 0(x)dρ(x) < Så vil 1 n h(x i ) h(x)f 0 (x)dρ(x) P f -ns n i=1 15

16 41 Asymptotiske minoranter for alle f D Desuden vil for alle x 1 n n h(x i ) i=1 h(x)f 0 (x)dρ(x) P x -ns Bevis Af rgodesætningen for stationære processer (Sætning 749 i MJ) og Sætning 33 følger den næsten sikre konvergens umiddelbart for f = f 0 Dermed har halehændelsen { 1 n n i=1 h( ˆX i ) h(x)f 0(x)dρ(x)}, hvor ˆX 1, ˆX 2, er koordinatrepræsentationsprocessen, ˆPf0 -sandsynlighed 1, og den næsten sikre konvergens for et vilkårligt f D følger af Lemma 35 herunder At vi også får næsten sikker konvergens, når markovkæden starter i et fast punkt x indses på følgende måde: Hvis X 1 = x ns, så har X 2 fordelingen k(x, ) ρ Dermed er (Y 1, Y 2, ) = (X 2, X 3, ) en markovkæden med begyndelsestætheden k(x, ); fordelingen af (Y 2,, Y n ) givet Y 1 afhænger jo kun af overgangssandsynlighderne og ikke af begyndelsesfordelingen Dvs 1 n n h(y i ) i=1 h(x)f 0 (x)dρ(x) P x -ns Men grænsen af 1 n n i=1 h(x i) er tydeligvis den samme som grænsen af 1 n n i=1 h(y i), hvoraf det ønskede følger Vi skylder at vise Lemma 35 Antag at overgangssandsynlighederne (ν x ) x er asymptotisk stabile med stationær tæthed f 0 Så er ˆP f (F ) = ˆP f0 (F ) for alle begyndelsestætheder f D og alle F J ˆ, hale-σ-algebraen frembragt af (koordinatrepræsentationsprocessen) ˆX 1, ˆX 2, Bevis Hvis F ligger i hale-σ-algebraen, kan vi for hvert n N vælge B n så F = {( ˆX n, ˆX n+1, ) B n } Dermed får vi (12) ˆP f (F ) ˆP f0 (F ) = Êf (Ê[1 B n ( ˆX n, ˆX n+1, ) ˆX n 1 ]) Êf (Ê[1 0 B n ( ˆX n, ˆX n+1, ) ˆX n 1 ]) Ê[1 Bn ( ˆX n, ˆX n+1, ) ˆX n 1 = x] ν (n 2) f(x) f 0 (x) dρ(x) ν (n 2) f f 0 dρ 0 når n 4 Minorisering 41 Asymptotiske minoranter For at kunne anvende Sætning 34 skal vi kunne afgøre om en markovkæde har asymptotisk stabile overgangssandsynligheder Definitionen giver dog ikke meget håb om at vi kan vise asymptotisk stabilitet direkte, så vi må til at lede efter nogle tilstrækkelige betingelser Her er begrebet en ikke-triviel asymptotisk minorant vigtigt 16

17 41 Asymptotiske minoranter Definition 41 Vi siger, at h L 1 (ρ) er en asymptotisk minorant for overgangssandsynlighederne (ν x ) x, hvis (ν (n) f h) 0 når n (16) for alle f D Hvis h desuden er ikke-negativ og h > 0, siger vi, at h er ikke-triviel At h er en asymptotisk minorant betyder at ν (n) f h ε n (17) hvor (ε n ) n N er en følge af positive L 1 (ρ)-funktioner, som går imod 0 i norm (dvs ε n = ε n dρ 0) når n Løst sagt kræver vi altså, at uanset hvilken begyndelsestæthed vi måtte vælge, så vil tætheden for fordelingen af X n+1 ligge over h stort set over det hele bare n er stor nok Det er nyttigt at bemærke, at (17) medfører, at normen af en ikke-triviel asymptotisk minorant højst er 1: h = hdρ ν (n) fdρ + ε n dρ = 1 + ε n 1 Det er klart, at der altid findes trivielle asymptotiske minoranter (feks h 0), men det følgende lemma viser, at kun pæne markovkerner tillader ikke-trivielle asymptotiske minoranter Lemma 42 (ν x ) x er asymptotisk stabil hvis og kun hvis der findes en ikke-triviel asymptotisk minorant Bevis Den ene vej er triviel: Hvis overgangssandsynlighederne er asymptotisk stabile, så findes en ikke-triviel asymptotisk minorant, nemlig den stationære tæthed, f 0 Beviset for den anden vej falder i to dele: 1 Først viser vi, at hvis en ikke-triviel asymptotisk minorant, h, eksisterer, så vil ν (n) g 0 (18) for alle g = f 1 f 2 hvor f 1, f 2 D Lad i det følgende f 1 og f 2 (og dermed g) være vilkårlige men faste Først indses, at venstresiden i (18) er en aftagende funktion af n fordi ν (n+m) g = ν (m) (ν (n) g) ν (n) g Dermed er det nok at vise at ν (n) g 0 ad en delfølge Dernæst bemærkes, at g + = g = g /2 c, fordi f 1 og f 2 begge er sandsynlighedstætheder Hvis c = 0 er der intet at vise, så antag derfor at c > 0 Så kan vi vurdere ν (n) g = (ν (n) g + ch) (ν (n) g ch) c ν (n) g c + h + c ν (n) g c h Da både g + /c og g /c er sandsynlighedstætheder, og h er en asymptotisk minorant, kan vi vælge n 1, så (ν (n) g c + h) 1 4 h og (ν(n) g c h) 1 4 h 17

18 41 Asymptotiske minoranter for n n 1 Bemærk at n 1 afhænger af g Vi kan nu vurdere ν (n) g c + h = = = ν (n) g c ν (n) g + (x) h(x) dρ(x) c ( ν (n) g + (x) h(x) + 2(ν (n) g ) + (x) h(x)) dρ(x) c c + h + 2 (ν (n) g c + h) 1 h h = h for n n 1 og tilsvarende for g /c Derved fås ν (n) g c(2 h ) = g (1 h /2) for n n 1 Nu er ν (n 1) g = ν (n 1) f 1 ν (n 1) f 2 jo også en differens mellem to sandsynlighedstætheder, så for et eller andet n 2 vil tilsvarende argumenter give ν (n 1+n 2 ) g ν (n 1) g (1 h /2) g (1 h /2) 2 og ved at gentage argumentet k gange fås ν (n 1+ +n k ) g g (1 h /2) k Idet højresiden her går imod 0, har vi vist (18) 2 Vi skal nu bruge det netop viste til at konstruere den stationære tæthed, f 0 Når den er konstrueret (og betingelse (i) i definitionen dermed er opfyldt) sikrer (18), at betingelse (ii) også er opfyldt Da vi har antaget eksistensen af en ikke-triviel asymptotisk minorant, er c = sup{ h : h er en ikke-triviel asymptotisk minorant} veldefineret og 0 < c 1 Lad (h m ) m N være en følge af ikke-trivielle asymptotiske minoranter, således at h m c når m Vi bemærker, at hvis h 1 og h 2 begge er asymptotiske minoranter, så er h 1 h 2 også en asymptotisk minorant, fordi (ν (n) f h 1 h 2 ) (ν (n) f h 1 ) + (ν (n) f h 2 ) Vi kan derfor antage, at h m vokser ved om nødvendigt at erstatte h m med max k=1,,m h k Dermed vil h = lim m h m eksistere som en punktvis grænse, h = lim m h m = c og h m h 0 i følge Lebesgues sætninger om monoton og majoriseret konvergens h er også en ikke-triviel asymptotisk minorant, thi (ν (n) f h ) (ν (n) f h m ) + h m h som kan gøres vilkårlig lille ved først at vælge m og dernæst n h er naturligvis den (ρ-ns) største asymptotiske minorant Dette indses ved at bemærke, at for enhver anden ikke-triviel asymptotisk minorant, h, er h h h også en ikketriviel asymptotisk minorant, som derfor har norm mindre end eller lig med c Altså c = h h h c, hvorfor h h = h ρ-ns Dermed h h ρ-ns 18

19 42 Tilstrækkelige betingelser Vi viser nu, at h /c er en stationær tæthed Da h 0, er h /c er en tæthed For at indse at der er tale om en stationær tæthed, bemærker vi ved brug af Lemma 31 at (ν (n+1) f ν (1) h ) ν (1) (ν (n) f h ) (ν (n) f h ) 0 for alle f D Altså er ν (1) h også en ikke-triviel asymptotisk minorant, som må være mindre end h Men da ν (1) h = h, fordi h 0, er ν (1) h = h ρ-ns Altså er f 0 = h /c en stationær tæthed Umiddelbart synes det ikke at være meget lettere at finde ikke-trivielle asymptotiske minoranter end det måtte være at eftervise Definition 32 direkte Vi skal dog se, at det er forholdsvis let at angive tilstrækkelige betingelser, som sikrer eksistensen af ikke-trivielle asymptotiske minoranter Inden da skal vi lige bemærke, at det er nok at eftervise minorant betingelsen (16) for tætheder i en tæt delmængde af D Lemma 43 Hvis h L 1 (ρ) opfylder at (ν (n) f h) 0 når n for alle f i en tæt delmængde D af D, så opfylder h minorant betingelsen (16) Bevis Lad f D være vilkårlig Da D er tæt, kan vi for et vilkårligt ε > 0 vælge en tæthed f D således at f f < ε/2 Dermed finder vi ved passende anvendelse af Lemma 31 samt uligheden (x + y) x + y, at (ν (n) f h) (ν (n) f ν (n) f ) + (ν (n) f h) ν (n) (f f ) + (ν (n) f h) (f f ) + (ν (n) f h) < ε bare n er stor nok Vi har dermed vist det ønskede 42 Tilstrækkelige betingelser Vi er nu klar til at angive tilstrækkelige betingelser for eksistens af ikke-trivielle asymptotiske minoranter Sætning 44 Lad y k(x, y) være tætheden for ν x mht ρ Hvis der findes m N således at y inf x k (m) (x, y) er målelig og inf x k (m) (x, y)dρ(y) > 0 så er (ν x ) x asymptotisk stabil Bevis Det må være oplagt at forsøge at vise, at h(y) = inf x k (m) (x, y) er en asymptotisk minorant Antagelsen i sætningen sikrer, at den er ikke-triviel 19

20 42 Tilstrækkelige betingelser Chapman-Kolmogorov ligningerne (14) siger at for f D er ν (m+l) f(x) = f(z)k (m+l) (z, x)dρ(z) = f(z) k (l) (z, y)k (m) (y, x)dρ(y)dρ(z) f(z) k (l) (z, y)h(x)dρ(y)dρ(z) = h(x) f(z) k (l) (z, y)dρ(y)dρ(z) = h(x) hvorfor (ν (n) f h) 0 for n > m Bemærkning For en markovkæde på et endeligt tilstandsrum kræver Sætning 44 at der finder j og m N så inf i p (m) ij > 0 Dette sikrer ikke at kæden er irrducibel så den er ikke positiv i almindelig (STATISTIK 1B) forstand Dog er vi sikre på at der er præcis én absorberende klasse, nemlig den indeholdende j Dermed findes en entydig stationær begyndelsesfordeling (som er 0 uden for den absorberende klasse), og hvis vi bruger denne som begyndelsesfordeling, får vi en ergodisk proces MJ Sætning 7411 kan forholdsvis let generaliseres til denne situation, som er dækket af Sætning 34 Markov viste i 1906 en ergodesætning for markovkæder, som opfylder at der findes et sandsynlighedsmål κ på (, ) samt konstanter ε, δ > 0 og m N således at P {X m B X 1 = x} δ for alle x og alle B med κ(b) > ε Denne betingelse er kendt som Doeblins betingelse I beviset for Sætning 44 viser vi, at Doeblins betingelse er opfyldt med κ = h/ hdρ ρ Det er svært i vores tæthedssituation at forestille sig andre måder at eftervise Doeblins betingelse på end netop at eftervise betingelsen i sætningen Sætning 44 er typisk kun anvendelig, hvis tilstandsrummet er kompakt (eller ρ har kompakt støtte) I det tilfælde kan man ofte overbevise sig om at inf x k(x, y) er positiv på en mængde med positivt ρ-mål Der gælder feks at hvis k(x, y) > 0 for alle (x, y), og x k(x, y) er kontinuert for alle x, så vil inf x k(x, y) > 0 for alle y ksempel Vi vil give et simpelt eksempel på hvordan vi kan anvende Sætning 44 Den egentlige motivation for hvorfor vi kunne være interesserede i netop denne markovkæde, venter vi med til Afsnit 5 Lad f 0 og f 1 være to givne positive konstanter Vi definerer nu en markovkæde (p n, Z n ) n N på [0; 1] {0, 1} ved at angive overgangssandsynlighederne på følgende måde: 1 Først trækkes p n+1 fra en B(Z n + 1, 2 Z n )-fordeling 2 Derefter trækkes Z n+1 fra binomialfordeling med antalsparameter 1 og sandsynlighedsparameter givet ved p n+1 f 1 p n+1 f 1 + (1 p n+1 )f 0 20

21 42 Tilstrækkelige betingelser Vi bemærker at fordelingen af (p n+1, Z n+1 ) kun afhænger af fortiden gennem (p n, Z n ), så har vi en markovkæde Vi skal opskrive k((p, z), (p, z )), og ser at den kan skrives således k((p, z), (p, z )) = k p (z, p )k z (p, z ) = 1 B(z + 1, 2 z) (p ) z (1 p ) 1 z ( p f 1 p f 1 + (1 p )f 0 ) z ( (1 p )f 0 p f 1 + (1 p )f 0 ) 1 z Denne overgangstæthed (mht produktet af Lebesguemålet på [0; 1] og tællemålet på {0, 1}) afhænger slet ikke af p, og vi ser let at den er strengt positiv for (p, z ) ]0; 1[ {0, 1} i de to tilfælde z = 0 og z = 1 Altså er betingelsen i Sætning 44 opfyldt, og markovkæden er ergodisk Vi kan således bestemme (feks) middelværdien, som eksisterer fordi tilstandsrummet er begrænset, i den stationære fordeling ved at simulere kæden længe nok med en passende begyndelsesfordeling og så tage et gennemsnit Hvis tilstandsrummet er ubegrænset, kan man sjældent vise betingelsen i Sætning 44 I stedet kan man ofte eftervise et såkaldt driftkriterium Sætning 45 Lad V : (, ) (R, B) være en målelig ikke-negativ funktion, således at {x : V (x) > r} er ikke-tom for alle r > 0 Hvis der findes m N så y inf {V (x) r} k (m) (x, y) er målelig og inf {V (x) r} k (m) (x, y)dρ(y) > 0 (19) for alle r > 0, og der findes α < 1 og β < så V (y)dν x (y) αv (x) + β (20) for ρ-na x, så er overgangssandsynlighederne (ν x ) x asymptotisk stabile Bemærkning Betingelsen {x : V (x) > r} for alle r > 0 betyder bare, at V antager vilkårligt store værdier Typisk vælges V så V (x) når x nærmer sig randen af støtten n målelig ikke-negativ funktion, V : (, ) (R, B), som opfylder denne betingelse, kaldes en Lyapounov funktion eller en driftfunktion I stedet for driftkriterium taler man ofte om et Lyapounov kriterium eller et Foster-Lyapounov kriterium Opmærksom gennemlæsning af beviset for Sætning 45 vil afsløre at betingelsen {x : V (x) > r} faktisk ikke anvendes Når den alligevel optræder som en antagelse i sætningen, skyldes det at hvis der findes r så {x : V (x) > r} er tom så er betingelsen (19) bare betingelsen fra Sætning 44, hvorfor Sætning 45 bliver uinteressant Man ser endda at betingelsen (20) er trivielt opfyldt hvis V er begrænset; vælg β = sup x V (x) Man kan altså se Sætning 45 som en generalisering af Sætning 44 Betingelsen (20) bliver klarere ved at blive formuleret med stokastiske variable Hvis X er en markovkæde med overgangssandsynligheder (ν x ) x, er betingelsen (20) bare det samme som [V (X 2 ) X 1 = x] = V (y)dν x (y) αv (x) + β for ρ na x 21

22 42 Tilstrækkelige betingelser Betingelsen siger, at vi kan forvente at V (X n+1 ) ligger lavere end V (X n ) gør, i hvert fald når V (X n ) er stor Dvs målt på V -aksen forventer vi, at vi, hvis vi er nået langt op, i næste skridt vil bevæge os nedad igen Med andre ord driver markovkæden mod lave værdier af V ; deraf navnet driftkriterium Denne drift-fortolkning giver os også et vist håb om at markovkæden er ergodisk Fra teorien for markovkæder på numerable tilstandsrum ved vi, at en irreducibel markovkæde er positiv, hvis middeltilbageløbstiden, dvs middelværdien af ventetiden indtil kæden returnerer til en given tilstand, er endelig for én (og dermed alle) tilstande Hvis driftkriteriet er opfyldt, kunne man jo håbe at middeltilbageløbstiden til områder, hvor V antager små værdier, er endelig Bevis Vi starter med at definere (n) f V = V (x)ν (n) f(x)dρ(x) = V (y)dν x (y)ν (n 1) f(x)dρ(x), middelværdien af V ( ˆX n+1 ) i markovkæden med begyndelsesfordeling f ρ; bemærk at denne kan være uendelig Betingelsen (20) siger så at (n) f V α (n 1) f n 1 β i=0 V + β α 2 (n 2) f V + αβ + β α i + α n (0) f V β 1 α + αn (0) f V Lad D være mængden af f D, hvor (0) f V = f(x)v (x)dρ(x) (og dermed (n) f V ) er endelig For (en vilkårlig, men fast) f D findes n f N således at (n) f V β 1 α + 1 (21) for n n f Lad r > 1 + β/(1 α) og sæt B = {x : V (x) r} Så er 1 ν (n) fdρ(x) = ˆP f {V ( ˆX n+1 ) > r} 1 r (n) f V (22) B iflg Markovs ulighed Ved at kombinere (21) og (22) får vi ν (n) f(x)dρ 1 1 ( 1 + β ) r 1 α B for n n f Vi kalder højresiden for ε og bemærker at ε > 0 Vi får dermed ν (n+m) f(y) k (m) (x, y)ν (n) f(x)dρ(x) B inf x B k (m) (x, y) B ν(n) f(x)dρ(x) ε inf x B k (m) (x, y) for n n f Vi ser at h(y) = ε inf x B k (m) (x, y) er en ikke-negativ funktion med h > 0, samt at (ν (n) f h) = 0 fvt (afhængigt af f) for enhver tæthed f, som opfylder at (0) f V < For at vise at h er en ikke-triviel asymptotisk minorant skal vi bare indse, at mængden D = {f D : (0) f V < } er tæt i D Sæt B k = {x : V (x) k} For en vilkårlig f D er f k = f 1 Bk / B k fdρ en tæthed i hvert fald for k stor nok og ( ) f k f (1 1 Bk )fdρ + fdρ B k 22 1 B k fdρ 1

23 42 Tilstrækkelige betingelser som kan gøres vilkårligt lille ved at vælge k tilstrækkelig stor Mængden af sådanne f k er er således tæt i D og indeholdt i D fordi V f k dρ k < Altså er h en ikketriviel asymptotisk minorant ksempel Som eksempel på anvendelse af Sætning 45 ser vi på ARCH(1) modellen Den er givet ved at X n = σ n ε n σn 2 = σ2 + αxn 1 2 n N hvor vi antager, at X 0, σ 2 > 0 og α [0; 1[ er konstanter, og (ε n ) n N er en følge af uafhængige, identisk normalfordelte stokastiske variable med middelværdi 0 og varians 1 Desuden antages, at ε n er uafhængig af (X 1,, X n 1, σ 1,, σ n ) Vi ser, at ARCH(1) modellen, (X n ) n N, er en markovkæde med overgangssandsynligheder givet ved at X n X n 1 N(0, σn) 2 Vi ser også, at betingelsen i Sætning 44 næppe er opfyldt; ved at vælge X n 1 passende kan σn 2 blive vilkårligt stor, hvorved tætheden for overgangssandsynlighederne bliver vilkårligt lille, så inf x k(x, y) = 0 For m > 1 gælder utvivlsomt noget tilsvarende I stedet indser vi, at med V (x) = x 2 er betingelserne i Sætning 45 opfyldt Først er det klart, at V er en Lyapounov funktion Dernæst bemærkes, at hvis Xn 1 2 < r, så bliver også σn 2 begrænset hvorfor betingelsen (19) på tætheden er opfyldt for m = 1 Tilbage står kun at efterse betingelsen (20), som er klar fra (X 2 n+1 X n ) = σ 2 n = αx 2 n + σ 2 Altså kan ARCH(1) modellen gøres ergodisk, når 0 < α < 1 Bemærk at der ikke er nogen som påstår at ARCH(1) modellen ikke kan gøres ergodisk for α 1; faktisk kan man vise at den kan gøres ergodisk for α < exp[ D log Γ(1/2)]/2 356 I modsætning til eksemplet givet i forbindelse med Sætning 44, kan vi ikke umiddelbart benytte resultatet i dette eksempel til at udregne middelværdien i ARCH(1) modellen vha simulering Det eneste vi ved er jo, at der findes en stationær fordeling, som har tæthed mht Lebesguemålet på R, men vi ved ikke om denne fordeling har middelværdi Dette er klart utilfredsstillende, så vi må hellere vise følgende korollar til beviset for Sætning 45 Korollar 46 Under betingelserne fra Sætning 45 findes middelværdien af g(x), hvor X følger den stationære fordeling, hvis g(x) V (x) Bevis Resultatet følger hvis vi kan vise at middelværdien af V (X) eksisterer, dvs at (0) f 0 V = V (x)f 0(x)dρ(x) < Vælg en tæthed f fra D = {f D : (0) f (V ) < } Vi ved fra (21) i beviset for Sætning 45, at der findes k 0 N så (k) f V β/(1 α) + 1 for k > k 0 For et hvert k gælder, at (k) f (V M) (k) f V for alle M N Desuden gælder for et vilkårligt M N (k) f (V M) (0) f 0 (V M) V (x) M ν (k) f(x) f 0 (x) dρ(x) M ν (k) f f

24 51 Bayes statistik når k For hvert M N kan vi altså vælge k > k 0 således at (k) f (V M) (0) f 0 (V M) < 1, hvorfor (0) f 0 (V M) β/(1 + α) + 2 for alle M N Idet følgen ( (0) f 0 (V M)) M N er voksende og opad begrænset, ser vi at grænseværdien (for M ) eksisterer Monoton konvergens giver nu det ønskede ksempel Af korollaret følger direkte at middelværdien og variansen for den stationære fordelingen af ARCH(1) modellen findes Vi kan derfor estimere de to første momenter ved gennemsnit af X n erne og de kvadrerede X n er Det er ikke svært at indse, nu vi ved de to første momenter eksisterer, at middelværdien er 0 og anden momentet er σ 2 /(1 α)det er derfor mere interessant at gennemsnittet af de kvadrerede X n er er et konsistent estimat af den i statistiske anvendelser ukendte parameter σ 2 /(1 α): 1 n n i=1 X 2 i ns σ2 1 α 5 Markov chain Monte Carlo 51 Bayes statistik Markov chain Monte Carlo teknikker har et utal af anvendelsesmuligheder I afsnit 1 så vi et eksempel på test af en hypotese vha MCMC n anden væsentlig anvendelse er at simulere rumlige stokastiske processer (dvs stokastiske processer indiceret ved rum i stedet for tid); Ising modellen kan ses som et simpelt eksempel på en rumlig proces Størst betydning har MCMC indtil videre nok haft for Bayes statistik, som fra nærmest kun at være et filosofisk synspunkt nu er blevet et reelt alternativ til almindelig statistik, ene og alene takket være MCMC Vi skal i det følgende give en kort introduktion til Bayes statistik Da STATISTIK 2B er et kursus i sandsynlighedsregning, vil vi nøjes med en groft forenklet introduktion og undlade at beskæftige os med argumenter for og imod at benytte Bayes statistik som statistisk metode Udgangspunktet for traditionel Bayes statistik er en parametriseret model, som vi er vant til Vi antager derfor, at X er en stokastisk variabel med tæthed f θ mht et σ- endeligt mål Parameteren θ Θ er ukendt, og vi ønsker at udtale os om den I Bayes statistik gøres dette ved at man udtrykker sine grader af tiltro til den ukendte parameter, θ, i form af en sandsynlighedsfordeling på parameterområdet Θ Denne fordeling vælges før X observeres og kaldes a priori fordelingen; den udtrykker vores grader af tiltro før eksperimentet A priori fordelingen adskiller sig fra fordeling af data ved at være subjektiv; to forskellige personer vil (i princippet) vælge forskellige a priori fordelinger, fordi de har forskellige grader af tiltro til den ukendte parameter Det er klart, at observation af X bør ændre de oprindelige grader af tiltro til parameteren Disse nye grader af tiltro repræsenteres (naturligvis?) som en (subjektiv) betinget fordeling af parameteren, θ, givet data, X Denne fordeling kaldes a posteriori fordelingen For at komme fra a priori fordelingen til a posteriori fordelingen 24