13 Markovprocesser med transitionssemigruppe I nærværende kapitel vil vi antage at tilstandsrummet er polsk, hvilket sikrer, at der findes regulære betingede fordelinger. Vi skal se på eksistensen af Markovprocesser. 13.1 Diskret tid Lad K(A x), defineret for x og A B(), være en Markovkerne og (X n ) n 1 betegne en proces med tilstandsrum defineret på et sandsynlighedsfelt (Ω,F,P). Definition 13.1. Vi siger, at (X n ) n 1 er en (homogen) Markovkæde med transitionsfunktion K, hvis der for n = 1,2,... gælder E[1 {Xn+1 A} X 1,...,X n ] = K(A X n ) P n.o. (13.1) for ethvert A B(). Lad ν(a) := P(X 1 A) være defineret for A B(). Da kaldes ν for processens begyndelsesfordeling. Man kan ækvivalent formulere (13.1) som egenskaben P(X n+1 A X 1 = x 1,...,X n = x n ) = K(A x n ) (13.2) for P (X1,...,X n )-næsten alle (x 1,...,x n ). Ordet homogen hentyder til, at Markovkernen K er en regulær betinget fordeling af X n+1 givet X n for ethvert n. Eksempel 13.2. Markovkæder med transitionsfunktion har I i rigt mål mødt i et tidligere kursus: Antag at er højst tællelig samt at P = {p i j } i, j er en overgangsmatrix. Det vil sige, at p i j 0 for alle i, j samt at rækkesummerne er 1, altså j p i j = 1 for ethvert i. Da definerer K(A i) := j A p i j en Markovkerne og (X n ) n 1 er en homogen Markovkæde med transitionsfunktion K hvis og kun hvis processen er en Markovkæde med overgangsmatrix P, som defineret i Hoffmann s kursus. Eksempel 13.3. (AR(1)-processen). Antag at X n+1 = θx n +ε n+1 hvor θ R og X 1,ε 2,ε 3,... er uafhængige med ε n N(0,1). Da er transitionsfunktionen K( x) = N(θx,1). Det vil sige 1 K(A x) = exp( 1 2π 2 (y θx)2 )dx, x R,A B(R). A Det er nu relevant at undersøge følgende spørgsmål: (1) Hvordan ser de endeligt dimensionale marginale fordelinger ud for en Markovkæde med transitionsfunktion K? 74
(2) Lad ν være en fordeling på. Findes der en Markovkæde med transitionsfunktion K og begyndelsesfordeling ν? Vi vil besvare spørgsmål (2) positivt ved at henvise til Kolmogorov s konsistenssætning. Lad os derfor definere et sandsynlighedsmål π n på B( n ) for n 1 på følgende måde: Lad π 1 (A) := ν(a), A B(); og for n = 2,3,... lad π n (A) := 1 A (x 1,...,x n )K(dx n x n 1 )K(dx n 1 x n 2 ) K(dx 2 x 1 )ν(dx 1 ), A B( n ). Overvej her, at π n (A) er veldefineret for et vilkårligt A B( n ). (Dette følger ved først at kigge på produktmængder og derefter benytte et Monoton Klasse-argument). For produktmængder har vi π 2 (A 1 A 2 ) = K(A 2 x 1 )π 1 (dx 1 ), A 1,A 2 B(); A 1. π n+1 (A 1 A n A n+1 ) = K(A n+1 x n )π n (d(x 1,...,x n )), A 1 A n (13.3) hvor det sidste lighedstegn gælder for A 1,...,A n+1 B(). ammenhængen mellem π n og π n+1 er med andre ord π n+1 (A) = 1 A (x 1,...,x n,x n+1 )K(dx n+1 x n )π n (d(x 1,...,x n )), A B( n+1 ). n (13.4) Proposition 13.4. Lad ν være en fordeling på og definér {π n n 1} som ovenfor. Lad (X n ) n 1 være en proces med tilstandsrum. Følgende udsagn er da ækvivalente: (1) (X n ) n 1 er en homogen Markovkæde med transitionsfunktion K; (2) For ethvert n 1 har (X 1,...,X n ) fordeling π n ; det vil sige P((X 1,...,X n ) A) = π n (A), A B( n ). Bemærkning 13.5. Antag at (X n ) n 1 er en homogen Markovkæde med transitionsfunktion K og begyndelsesfordeling ν. Med baggrund i definitionen af π n skriver man ofte P(X 1 dx 1,...,X n dx n ) = ν(dx 1 )K(dx 2 x 1 ) K(dx n 1 x n 2 )K(dx n x n 1 ). Hvis situation er som i Eksempel 13.2, er for alle i 1,...i n. P(X 1 = i 1,X 2 = i 2,...,X n = i n ) = ν({i 1 })p i1 i 2 p i2 i 3 p in 1 i n 75
Bevis for Propositionen. Antag (1). Pr definition, se ligning (13.2), er P Xn+1 (X 1,...,X n )(A (x 1,...,x n )) := K(A x n ) (13.5) en regulær betinget fordeling af X n+1 givet (X 1,...,X n ). Lad os ved induktion vise at (X 1,...,X n ) har fordeling π n. For n = 1 er dette ok pr. definition af π 1. Antag derfor at (X 1,...,X n ) har fordeling π n. Ifølge ligningerne (B.2) og (13.5) gælder P((X 1,...,X n ) A 1 A n,x n+1 A n+1 ) = K(A n+1 x n )π n (d(x 1,...,x n )) A 1 A n og ved sammenligning med (13.3) ses at P((X 1,...,X n ) A 1 A n,x n+1 A n+1 ) = π n+1 ( A 1 A n A n+1 ) for A 1,...,A n+1 B. Det vil sige at π n+1 stemmer overens med fordelingen for (X 1,...,X n+1 ) på produnktmængder, og derfor har (X 1,...,X n+1 ) fordeling π n+1. Antag omvendt at (2) er opfyldt. Ligningerne (B.2) og (13.3) viser, at (13.5) er en regulær betinget fordeling af X n+1 givet (X 1,...,X n ), hvilket er det ønskede. Vi kan herefter besvare spørgsmål (2). Proposition 13.6. Lad ν være en fordeling på og K være en Markovkerne. Da findes en homogen Markovkæde med tilstandsrum og transitionsfunktion K. Bevis. Lad sandsynlighedsmålene π n være defineret som ovenfor. Vi vil gøre rede for at disse sandsynlighedsmål er konsistente. Kolmogorov s konsistenssætning sikrer da, at der findes en tilhørende realisation, og Proposition 13.4 viser, at denne realisation er Markov. Men π n erne er konsistente, idet der gælder π n+1 (A ) = K( x n )π n (d(x 1,...,x n )) = 1π n (d(x 1,...,x n )) = π n (A) for A B( n ). 13.2 Kontinuert tid A Lad (X t ) t 0 betegne en stokastisk proces med tilstandstrum. Lad os først undersøge sammenhængen mellem de regulære betingede fordelinger i en Markovproces. Proposition 13.7. (Chapman-Kolmogorov) Lad (X t ) t 0 være en Markovproces og P s,t (A x), defineret for A B() og x, være en regulær betinget fordeling af X t givet X s for s t. Lad 0 s t u og A B(). Da gælder P su (A x) = P tu (A y)p st (dy x) (13.6) for P Xs -næsten alle x. 76 A
Bevis. Da P st ( ) er en regulær betinget fordeling af X t givet X s, er P st (A X s ) = E[1 {Xt A} X s ] n.s. (13.7) for ethvert A B(). Et Monoton Klasse-argument viser, at der for f bb() mere generelt gælder f(y)p st (dy X s ) = E[ f(x t ) X s ] n.s. (13.8) Ligning (13.7) (hvor t erstattes af u) viser sammen med sædvanlige regneregler for betingede middelværdier at Markovegenskaben medfører P su (A X s ) = E[E[1 {Xu A} F X t ] X s ] n.s. E[1 {Xu A} F X t ] = E[1 {Xu A} X t ] = P tu (A X t ) n.s. så specielt er P su (A X s ) = E[P tu (A X t ) X s ]. (13.9) Til sidst benyttes (13.8) til at slutte P su (A X s ) = P tu (A y)p su (dy X s ) n.s., hvilket er det ønskede. Lad os herefter overbevise os om, at hvis vi har givet P st ( ) som opfylder (13.6), så findes også en Markov proces som har P st ( ) som tilhørende betinget fordeling. Vi vil antage, at P st ( ) opfylder (13.6) for alle x (og ikke bare næsten alle x som ovenfor), og derfor indføres følgende. Definition 13.8. Lad P st (A x) defineret for A B() og x være en Markovkerne for ethvert s t. Antag yderligere at der gælder P tt ( x) = δ x for ethvert x og alle t 0; P su (A x) = P tu (A y)p st (dy x), hvor den sidste ligning gælder for ethvert x, ethvert A B() og alle 0 s t u. Da kaldes {P st : 0 s t} for en transitionssemigruppe. Lad i det følgende {P st : 0 s t} være en transitionssemigruppe. 77
Definition 13.9. En proces (X t ) t 0 kaldes en Markovproces med transitionssemigruppe {P st : 0 s t}, hvis der gælder E[1 {Xt A} F X s ] = P st(a X s ) P n.o. (13.10) for alle 0 s t og ethvert A B(). andsynlighedsmålet ν defineret ved ν(a) := P(X 0 A) for A B() kaldes for processens begyndelsesfordeling. Betingelsen (13.10) kan ækvivalent formuleres som P(X t A X s1 = x 1,...X sn = x n,x s = x) = P st (A x) for alle n 1, alle 0 s 1 s n s t og P (Xs1,...,X s n,x s)-næsten alle (x 1,...,x n,x). om i det diskrete tilfælde kan man nu finde de endeligt dimensionale marginale fordelinger for en Markovproces med transitionssemigruppe {P st : 0 s t}. Desuden kan man ved hjælp af Kolmogorovs konsistenssætning vise, at en sådan proces eksisterer. Vi vil blot formulere resultatet og overlade beviset til læseren. Proposition 13.10. Lad ν være en fordeling på. Der findes da en Markovproces med transitionssemigruppe {P st : 0 s t} og begyndelsesfordeling ν. Ligning (13.10) udtaler sig om den betingede fordeling af en indikatorfunktion. Lad os generalisere dette som i Proposition 1.10. For f bb() og 0 s t lad (P st f)(x) := f(y)p st (dy x) for x. Man kan da ved hjælp af Monoton Klasse vise dels at x (P st f)(x) er målelig og dels at hvis (X t ) t 0 er en Markovproces med transitionssemigruppe {P st : 0 s t}, så gælder E[ f(x t ) F X s ] = (P st f)(x s ) P n.o. Antag P st er på formen P st (A x) = P t s (A x), hvor {P t ( ) : t 0} er en familie af Markovkerner, som opfylder P 0 ( x) = δ x for ethvert x ; P s+t (A x) = P t (A y)p s (dy x), hvor den sidste ligning gælder for ethvert x, ethvert A B() og alle s,t 0. Vi siger da, at (X t ) t 0 er en homogen Markovproces med transitionssemigruppe {P t : t 0}, hvis E[1 {Xt A} F X s ] = P t s(a X s ) P n.s. for alle 0 s t og ethvert A B(). Der er mange eksempler på Markovprocesser med en tilhørende transitionssemigruppe. om eksempel kan nævnes, at en proces der løser en stokastisk differentialligning typisk er Markov og har en transitionssemigruppe. Man har imidlertid kun i de mest simple situationer pæne analytiske repræsentationer af transitionssemigruppen. Her er nogle eksempler. 78
1. Lad (ν t ) t 0 være en foldningssemigruppe og sæt P t (A x) := ν t (A x). Da er en Lévy proces med transitionssemigruppe (ν t ) t 0 ligeledes Markov med transitionssemigruppe {P t : t 0}. 2. Ornstein-Uhlenbeck processen har en Gaussisk transitionssemigruppe. om service over for personer med kenskab til Finansiering kan ligeledes nævnes, at en Cox- Ingersoll-Ross model har en nogenlunde pæn transitionssemigruppe, som i øvrigt er angivet i den oprindelige artiklen af de tre nævnte herrer. 3. Markovprocesser med kontinuert tid og diskret tilstandsrum. 79