r n E[ X n ]/n! for alle r > 0 ifølge monoton konvergens, giver potensrækketeori, at ( ) er ækvivalent med, at ρ n E[ X n ]/n!

Transkript

1 Mometproblemet. Lad i dette afsit X betege e stokastisk variabel med mometer af ehver orde. Mometfølge (E[X ]) er derfor e vel defieret reel talfølge bestemt ved fordelige, og spørgsmålet om, de omvedt bestemmer fordelige, er kedt uder avet Mometproblemet. Korollar i afsittet Separatio af edelige Borel mål viser, at dette gælder for begræsede stokastiske variable, og som det fremgår af det udleverede fordeligskatalog gælder det for alle de kedte fordeligstyper med mometer af ehver orde påær logormalfordelige. Et sådat eksempel på e vigtig fordeligstype, hvor mometfølge ikke bestemmer fordelige etydigt, gør det aturligvis iteressat at vide, hvorår det er tilfældet. Problemet, der er blevet studeret i æste 00 år, er stadig uløst i de forstad, at ma edu ikke er i stad til at formulere e geerel ødvedig og tilstrækkelig betigelse på mometfølge, som sikrer, at de bestemmer fordelige. Me flg. simple tilstrækkelige betigelse er ofte brugbar. E stokastisk variabel X siges at opfylde ( ), hvis E[e ρ X ] < for et ρ > 0. ( ) holder klart, hvis X er begræset, dvs. hvis P( X M) = for et M R +, og som det fremgår af fordeligskatalogets pukt (H), er de opfyldt for e stor del af de kedte fordeligstyper. ( ) medfører klart eksistes af mometer af ehver orde, og da E[e r X ] = r E[ X ]/! for alle r > 0 =0 ifølge mooto koverges, giver potesrækketeori, at ( ) er ækvivalet med, at lim sup(e[ X ]/!) / < dvs. c R + : E[ X ] c!. Begrudelse for at ( ) er iteressat ligger, som allerede idikeret, gemt i flg. resultat. Mp Atag at X opfylder ( ). Mometfølge (E[X ]) bestemmer da fordelige for X. Bevis. ( ) betyder specielt, at lim ρ E[ X ]/! = 0, og iifølge Kf 9 ka ϕ X derfor rækkeudvikles omkrig ethvert pukt a med e kovergesradius, som er midst ρ. Heraf ka resultatet u vises, for ved først at rækkeudvikle omkrig 0 ses, da ϕ X (0) =, at (E[X ]) bestemmer ϕ X og dermed alle des afledede i itervallet ] ρ, ρ [. Ved foryet rækkeudviklig omkrig pukter tæt ved ρ og ρ ses derfor, at dette også gælder i itervallet ] 2ρ, 2ρ [. Såda fortsættes og mometfølge bestemmer derfor ϕ X og dermed ifølge Etydighedssætige fordeligsmålet P X. ( ) er e betigelse på de absolutte mometer, me der gælder flg. resultat. Mp 2 Lad X og Y være stokastiske variable med mometer af ehver orde, så at E[X k ] = E[Y k ] for alle k. Da holder ( ) for X, hvis og ku hvis ( ) holder for Y ; og i givet fald er X og Y derfor idetisk fordelte. 39

2 Bevis. Atag at X opfylder ( ), dvs. c R + : E[ X ] c!. Ifølge Cauchy- Schwarz s gælder derfor E[ Y ] E[Y 2 ] = E[X 2 ] c 2 (2)! = c (2)!, og da (2)! 2! for alle ses, at Y også opfylder ( ). Lad fortsat X betege e give stokastisk variabel. Da e ax e ax e a X e ax + e ax for alle a > 0, følger det umiddelbart, at hvis R(L X ) := {t R E[e tx ] < }, så gælder biimplikatioe X opfylder ( ) R(L X ) ideholder et åbet iterval omkrig 0. R(L X ) er altid et iterval ideholdede 0, me ka bestå af 0 alee eller have 0 som ete vestre eller højre edepukt. Defier M X (t) := E[e tx ] for t R(L X ). M X ( ) kaldes ofte de mometfrembrigede fuktio. Begrudelse for dette er klar ud fra det oveståede, for ideholder R(L X ) et åbet iterval af forme ] ε,ε [, så har X mometer af ehver orde og M X (t) = E[X ] t for t < ε. =! Ifølge potesrækketeori er t M X (t) derfor uedelig ofte differetiabel i 0 med Alt i alt viser dette M () X (0) = E[X ]. Mp 3 Lad X og Y være stokastiske variable. Fordelige for X er etydig bestemt ved M X, hvis dee er edelig i et åbet iterval omkrig 0, og X og Y er idetisk fordelte, hvis M X (t) = M Y (t) < for alle t i et åbet iterval omkrig 0. Bemærkig. Da mometere er bestemt som afledede i puktet 0, ka ma forholdsvis emt vise, at det er ok, at R(L X ) og R(L Y ) begge ideholder et åbet iterval omkrig 0, og M X (t ) = M Y (t ) for e følge (t ), som kovergerer mod 0. Et såkaldt målskifte argumet viser, at Mp 3 gælder uædret for ethvert iterval, dvs. Mp 3a Stokastiske variable X og Y er idetisk fordelte, hvis M X (t) = M Y (t) < for alle t i et åbet iterval. Bevis. Atag M X (t) = M Y (t) < for alle t ]λ,λ 2 [, hvor λ < λ 2. Lad for et λ 0 ]λ,λ 2 [ Q X og Q Y betege sadsylighedsmålee på (Ω,F) givet ved Q X := a e λ 0X dp og Q Y := a e λ 0Y dp, hvor a = E[e λ 0X ] = E[e λ 0Y ], 40

3 og lad M Q X og MQ Y betege de mometfrembrigede fuktioer for X uder Q X og Y uder Q Y. Reglere for itegratio med hesy til afledte mål viser, at M Q X og MQ Y er edelige og es i itervallet ]λ λ 0,λ 2 λ 0 [. Da dette iterval ideholder 0, følger af Mp 2 at Q X X = Q Y Y. Specielt er E[ f(x) e λ 0X ] = a E Q X [ f(x)] = a E Q Y [ f(y)] = E[ f(y) e λ 0Y ] og dermed E[ f(x)] = E[ f(y)] for alle kotiuerte fuktioer f med kompakt støtte, hvilket ku er muligt, hvis X og Y har samme fordelig. 4

4 De flerdimesioale ormalfordelig. Som e simpel kosekves af etydighedssætige og regeregler for karakteristiske fuktioer gefider vi flg. vel kedte egeskab ved klasse af e-dimesioale ormalfordeliger. Hvis X,...,X er uafhægige ormalfordelte stokastiske variable, er a ix i ige ormalfordelt for ethvert valg af reelle kostater a,...a. Med udgagspukt heri idføres flg. flerdimesioale fordeligsklasse. Defiitio. E -dimesioal stokastisk vektor X siges at være -dimesioal ormalfordelt, hvis t X = er ormalfordelt for alle t = (t,...,t ) R. Vælges t som e passede ehedsvektor ses, at alle koordiatvariable i e flerdimesioal ormalfordelig X er e-dimesioale ormalfordeliger, dvs. de har både middelværdi og varias. Middelværdivektore og kovariasmatrice t i X i µ X := (E[X ],...,E[X ]) og σ X := {Cov(X i,x j )} i, j er derfor vel defierede, og som i det e-dimesioale tilfælde er e -dimesioal ormalfordelig bestemt ved si tilhørede middelværdivektor og kovariasmatrice. Der gælder emlig flg. resultat. N Hvis X og Y er -dimesioal ormalfordelt med µ X = µ Y og σ X = σ Y, så er ϕ X = ϕ Y, dvs. X og Y er idetiske fordelte. Bevis. Lad t R være givet. Da t X og t Y begge er ormalfordelte stokastiske variable, er de idetisk fordelte, da og Dvs. for t R er Var(t X) = E[t X] = t µ X = t µ Y = E[t Y] t i σ X (i, j)t j = t i σ Y (i, j)t j = Var(t Y). i, j i, j ϕ X (t) = E[exp(i(t X))] = E[exp(i(t Y))] = ϕ Y (t), hvilket ifølge Etydighedssætige for karakteristiske fuktioer betyder, at X Y. Det har altså meig, at tale om de -dimesioale ormalfordelig med middelværdi vektor µ og kovariasmatrice σ, og vi vil i dee forbidelse skrive X N (µ,σ), hvis X er -dimesioal ormalfordelt med µ X = µ og σ X = σ. 42

5 Flg. vigtige egeskaber ved flerdimesioale ormalfordeliger er u åbebare. Som det er sædvae bruges samme otatio for de lieære afbildig og de tilhørede matrice udreget i hht. de kaoiske basis. Kovariasmatrice formle forudsætter, at vektorere i R opfattes som søjlevektorer. N 2 Klasse af flerdimesioale ormalfordeliger er stabil uder affie trasformatioer, dvs. hvis X N (µ,σ) og T : R R m lieær, så er Y := y+t(x) N m (y+t(µ), T σ T t ) for ethvert y R m. Specielt er Y N m (y,t T t ), hvis X N (0,I ). Bevis. Da ehver liearkombiatio af koordiatere i Y er e affi liearkombiatio af koordiatere i X, er Y m-dimesioalt ormalfordelt. Reste følger u ved beregig af de tilhørede middelværdivektor og kovariasmatrice. Etydighedssætige for karakteristiske fuktioer viser samme med N og N 2 umiddelbart flg. karakterisatio af de -dimesioale ormalfordelig. N 3 ( X N (µ,σ) ϕ X (t) = exp i(t µ) /2 t σ t t) t R. Dette gør det let at vise, at uafhægighed og ukorellerethed er det samme for simultat ormal fordelte variable. For ved getage avedelse af Kf 6, dvs. ækvivalese mellem uafhægighed og faktoriserig af de karakteristiske fuktio, ses flg. resultat at holde. Detaljere overlades til læsere. N 4 Hvis Z er e flerdimesioal ormalfordelt stokastisk vektor, er vilkårlige margialer (Z,...Z k ) og (Z m,...z ml ) uafhægige hvis og ku hvis Cov(Z i,z m j ) = 0 for alle i =,...,k og j =,...,l. Hvis X N (µ,σ ) og Y N m (µ 2,σ 2 ) er uafhægige, er (X,Y) N +m (µ,σ), hvor µ = (µ, µ 2 ) og σ = ( σ 0 0 σ 2. Korollar X = (X,...X ) N (0,I ) hvis og ku hvis X,...X er uafhægige N(0,)-fordelte stokastiske variable. ( I beteger her ehedsmatrice.) Ikke alle me dog de vigtigste flerdimesioale ormalfordeliger er absolut kotiuerte. Mere præcist gælder. N 5 X N (µ,σ) er absolut kotiuert, hvis og ku hvis σ er ivertibel, og i givet fald er e tæthed givet ved ( ) x exp (2π) detσ 2 (x i µ i )σ (i, j)(x j µ j ) x R. i, j ) 43

6 Bevis. Hvis σ ikke er ivertibel, fides der et t R \ {0}, så at Var(t X) = t σ t t = 0. Der fides derfor e kostat c R, så t X = c P-.o. D.v.s. P(X A(t,c)) =, hvor A(t,c) = {x R t x = c}, hvilket er uforeeligt med absolut kotiuitet, da ethvert ægte affit uderrum i R har Lebesgue mål 0. Hvis omvedt σ er ivertibel, ka de ifølge vel kedt teori skrives på forme σ = T I T t for T : R R lieær bijektio, og ifølge N 2 gælder derfor X µ + T(U) hvor U N (0,I ). Reste følger u som tidligere vist af de lieære trasformatiossætig, for da koordiatvariablee U,...,U i U er uafhægige N(0,)-variable, har U tæthed x (2π) /2 exp( x 2 /2) = (2π) /2 exp( 2 x 2 i ). Lad mig slutte med ude bevis at æve flg. resultat agåede betigede fordeliger. (Se afsittet om betigede middelværdier for ikke forklaret otatio.) Vi betragter ku det to - dimesioale tilfælde, me der gælder et helt tilsvarede udsag i højere dimesioer. N 6 Lad (X,Y) være to -dimesioalt ormalt fordelt, så at Y ikke er kostat. Da gælder for alle y R, at uder det betigede mål givet Y = y, er X N(µ X + σ X,Y /σ 2 Y (y µ Y ),σ 2 X σ 2 X,Y/σ 2 Y), hvor µ X, µ Y, σ 2 X og σ 2 Y er middelværdi og varias for X og Y, og σ X,Y er kovariase mellem dem. 44

7 Maksimal Uligheder. Ottaviai s Ulighed. Lad X,...,X betege uafhægige stokastiske variable. Sæt Da gælder for alle reelle tal x og y M = max j S j hvor S k = X + +X k k. P(M > x+y) mi j P( S S j y) P( S > x), Bevis. Da ulighede er triviel, hvis ete x eller y er egativ, lader vi x,y 0 være givet. Sæt D = { S > x+y} og D j = { S j > x+y, S x+y,..., S j x+y} j 2. Da D j ere er disjukte og {M > x+y} = D j, er P(M > x+y) = For ethvert j fås edvidere af trekatsulighede at P(D j ). { S j > x+y} { S + S S j > x+y} { S > x} { S S j > y}. Heraf følger, da (X,...,X j ) og dermed D j og S S j er uafhægige, at P(M > x+y) hvoraf resultatet følger, da Korollar For alle p > 0 er ( P({ S > x} D j )+P({ S S j > y} D j ) ) ( P({ S > x} D j )+P( S S j > y) P(D j ) ) P( S > x)+ max j P( S S j > y) P(M > x+y), max j P( S S j > y) = mi j P( S S j y). E[M p ] 2 p+ (+2 p+ ) max j E[ S j p ]. Bevis. Lad p > 0 være givet og atag ude tab af geeralitet, at m := max j E[ S j p ] <. 45

8 For τ := (2 p+ m ) /p gælder ifølge Markov s Ulighed P( S S j > τ) E[ S S j p ]/τ p 2 p (E[ S p ]+E[ S j p )/τ p 2 p m /τ p = /2 og dermed Dvs. mi P( S S j τ) /2 = /2. j P(M > x) = P(M > (x τ)+τ) 2 P( S > x τ) = 2 P( S +τ > x) for alle x > 0 og ved itegratio derfor E[M p ] 2 E[( S +τ) p ] 2 p E[ S p + τ p ] 2 p+ (+2 p+ ) m. Hvis X i ere yderligere alle har middelværdi 0, og S j og S S j for j derfor er uafhægige og cetrerede variable, viser ulighede E[ S S j p ] E[ S S j + S j p ] = E[ S p ] for j og p og et tilsvarede argumet, at der gælder Korollar 2 Hvis E[X i ] = 0 for alle i er E[M p ] 3 2p E[ S p ] for p. Det er værd at bemærke, at kostatere i Korollar og 2 ku afhæger af p. De agive værdier er på ige måde optimale, dvs. midst mulige. Ottaviai s Ulighed gælder for alle sæt af uafhægige stokastiske variable, me er variablee yderligere symmetriske, dvs. X X, gælder med samme otatio flg. mere præcise resultat. Lévy s Ulighed. Lad X,...,X betege uafhægige symmetriske stokastiske variable. Da er P(M > t) 2 P( S > t) for alle t > 0, og dermed E[M p ] 2 E[ S p ] for alle p > 0. Bevis. Lad t > 0 være givet. Sæt ige D = { S > t} og D j = { S j > x, S t,..., S j t} j 2. Da D j ere er disjukte gælder som ovefor P(M > t) = P( S j > t,d j ) = P( S + S j > 2t,D j) P( S > t,d j )+ P( S j > t,d j), 46

9 hvor S j := X + +X j (X j+ + +X ). Me da X i ere er symmetriske og uafhægige, er og dermed specielt Idsættes dette ovefor fås (X,...,X ) (X,...,X j, X j+,..., X ) for alle j, P( S > t,d j ) = P( S j > t,d j) for alle j. P(M > t) 2 P( S > t,d j ) 2 P( S > t). 47

10 De store tals love I. Betegelse De store tals love dækker over et utal af resultater agåede de asymptotiske opførsel af empiriske geemsit, dvs. variable af forme X i eller mere geerelt (X i µ i ), med heblik på koverges P-.o. eller i sadsylighed for. (X ) er her e følge af stokastiske variable og (µ ) e reel talfølge. Der fides tilsvarede resultater for stokastiske vektorer (X ) og vektorer (µ ). Hvis X i ere har edelig middelværdi, vælges µ i ormalt som middelværdie E[X i ], og der er i dee situatio dermed tale om ormerede cetrerede partialsummer. Resultatere opdeles i to kategorier, idet der skeles mellem stærke og svage love. E stærk lov er her et udsag, der sikrer koverges P-.o. i modsætig til e svag lov, som vedrører koverges i sadsylighed. Da koverges.o. som bekedt medfører koverges i sadsylighed, giver ehver stærk lov aledig til e tilsvarede svag lov. Det absolut vigtigste resultat idefor emet, hvis historie går helt tilbage til Berouilli brødree i begydelse af 700 tallet, er flg. klassiske stærke lov ofte omtalt som e af sadsylighedsteories tre perler. LLN Kolmogorov s Store tals lov. Hvis (X ) er e følge af uafhægige idetisk fordelte stokastiske variable med edelig middelværdi µ, kovergerer X i µ P-.o. og i L (P). Da E[X ] = µ for alle ka påstade ækvivalet formuleres som (X i E[X i ]) 0 P-.o. og i L (P). Resultatet spiller e meget vigtig rolle i sadsylighedsteorie, da det dukker aturligt op i mage sammehæge. Me det er også af e mere fudametal betydig for de modere sadsylighedsteori, dvs. Kolmogorov-modelle. For kue et sådat resultat ikke vises, ville modelle simpelt he være ubrugelig. Edvidere fremhæver det betydige af det idførte middelværdibegreb, for som resultatet viser, kovergerer de empiriske middelværdi mod de teoretiske, hvis dee eksisterer, uaset hvilke fordelig der ed er tale om. I bestræbelsere på at bevise sætige er der udviklet mage særdeles værdifulde tekikker, som udover at tjee deres opridelige formål har muliggjort mage udvidelser af resultatet. Vi skal i det følgede beskæftige os med e lille del af dee omfattede teori, me det er vigtigt hele tide at have oveståede hovedresultat i takere. 48

11 Flg. spørgsmål fra de reelle aalyse er tydeligvis af iteresse : Hvorår er lim a i = 0 for e give reel talfølge (a )?, dvs. hvorår kovergerer a 0 i Cecaro middel? Som bekedt gælder det, hvis a 0 i sædvalig forstad, me yderligere to resultater er af iteresse i dee forbidelse. ( Se Appediks F for e øjagtig formulerig og et bevis.) Først og fremmest det såkaldte Kroecker Lemma, dvs. implikatioe a /b koverget i R lim = b hvor 0 < b < b +. Tilfældet b er specielt iteressat. a i = 0, Desude vises, at hvis a ere ete er opad eller edad begræsede, så er lim [λ ] a i = 0 hvis lim [λ ] a i = 0 for ethvert λ >. Til seere brug bemærkes, at det her er ok, at kovergese holder for ethvert af de tællelig mage λ er af forme +k for k. Med baggrud i dette åber der sig derfor to mulige bevismetoder for oveståede sætig. Ete ka de omformuleres til et spørgsmål om koverges i R P-.o. af de uedelige række (X µ)/, eller også ka ma først studere = (X i µ) lags med hurtigt voksede delfølger af forme ([λ ]) for λ >, og deræst herudfra forhåbetligt deducere de øskede koverges for hele følge. Tilfældet, hvor X i ere er uafhægige, er af speciel iteresse. I dee forbidelse er det æste resultat, som viser, at.o.-koverges og koverges i sadsylighed er sammefaldede for summer af uafhægige variable, meget vigtigt. LLN 2.o.-koverges af summer af uafhægige variable. Lad (Z ) betege e følge af uafhægige variable. Da gælder Z er summabel P-.o. = hvor summabel P-.o. betyder at Z koverget i sadsylighed, = Z (ω) er koverget i R for P-.a. ω. = 49

12 Korollar For uafhægige stokastiske variable (Z ) gælder for alle p > 0 Z koverget i L p (P) = Z er summabel P-.o. = Korollaret, der er iteressat, fordi koverges i L p ofte er simpelt at eftervise, er e umiddelbar kosekves af sætige, da koverges i L p medfører koverges i sadsylighed. Herudfra deduceres ude problemer flg. stærke lov. LLN 3 De store tals lov (L 2 -udgave). Lad (X ) betege e følge af uafhægige kvadratisk itegrable stokastiske variable. Da gælder =Var(X )/ 2 < (X i E[X i ]) 0 P-.o. og i L 2 (P). Bevis. Uafhægighede bevirker, at (X E[X ]) udgør e orthogoal følge i L 2, og da fås af Pythagoras, mere præcist Lemma 4, at Var(X )/ 2 < = X E[X ] 2 2 = Var(X ) for alle = (X E[X ])/ kovergerer i L 2 (P). Kovergese P-.o. følger u af oveståede korollar samt Kroeckers Lemma, og da E[ ( (X i µ i ) ) 2 ] = 2 følger kovergese i L 2 ligeledes af Kroecker Lemmaet. Var(X i ) Bemærkig. Da beviset udytter begrebet orthogoalitet, er det på ige måde klart, at resultatet ka geeraliseres til ekspoeter α 2. Me vi skal seere se, at det dog i et vist omfag er muligt. Bevis for LLN 2. Sæt for S = Z i og lad S betege græsevariable, dvs. S S i sadsylighed. Der fides derfor e delfølge ( k ) k, så at S k S.o. for k. Defier for k M k := max S l S k, k <l k hvor 0 = 0 og S 0 := 0. Ifølge Ottaviai s ulighed gælder for alle ε > 0 og k P(M k > 2ε) ( max P( S k S l > ε)) P( S k S k > ε). k <l k Da S k S k 0 P-.o. er #{k S k (ω) S k (ω) > ε } < 50

13 for P-.a. ω, og da S k S k ere er uafhægige, følger derfor af Det adet Borel - Catelli Lemma at P( S k S k > ε) <. Heraf følger, at P(M k > 2ε) < og dermed P(limsup{M k > 2ε}) = 0, k for da S S i sadsylighed giver trekatsulighede, at max k <l k P( S k S l > ε) 2 sup l> k P( S S l > ε/2) k og dermed P(M k > 2ε) 2P( S k S k > ε) for k stor. Betragtes de tællelig mage ε på forme / for viser, det første Borel - Catelli Lemma derfor, at for P-.a. ω er #{k M k (ω) 2/} < for alle, dvs. etop at M k 0 P-.o. For.a. ω gælder altså at S k (ω) S(ω) og M k (ω) 0 for k. Me heraf følger at lim l S l (ω) = S(ω), for med k(l) bestemt ved k(l) < l k(l) gælder for alle l ulighede S l (ω) S(ω) S l (ω) S k(l) (ω) + S k(l) (ω) S(ω) M k(l) (ω)+ S k(l) (ω) S(ω) og dermed kovergese, da k(l) for l. Bevis for LLN. Lad (X ) betege e følge af uafhægige idetisk fordelte stokastiske variable med edelig middelværdi µ. Vi skal vise, at X i µ P-.o. Som etop vist, fides der et relevat resultat i det kvadratisk itegrable tilfælde. Me da vi her ku forudsætter itegrabilitet, får vi brug for de såkaldte trukerigstekik, som består i at skrive de ekelte variable som e sum af to i hht. flg. ide: X = X + X hvor X := X [ a,a ](X ) og X := X X = X { X >a } for et passede valg af positive reelle tal a. Da X ere er forudsat itegrable er a = et godt valg, idet der da gælder P( X 0) = = P( X > ) = = 5 P( X > ) <. =

14 Ved brug af Det første Borel-Catelli Lemma fås derfor at P( : X i = 0 i ) = og dermed og da X i 0 P-.o., i = X X i + X i, magler vi ku at vise, at første led kovergerer P-.o. mod µ. Hertil bemærkes, at Var(X ) E[X 2 ] = E[X 2 [,](X )] = E[X 2 [,](X )] = E[X 2, X ] og at der fides e kostat C R +, så at = Ifølge LLN 3 gælder derfor, at E[X 2, X ]/ 2 = E[X 2 X i E[X i ] =, X hvoraf påstade følger, da Lebesgue s Sætig viser, at og dermed også / 2 ] C E[ X ] <. (X i E[X ]) 0 P-.o., E[X ] = E[X [,] (X )] µ E[X i] µ. L -kovergese følger ved at kombiere kovergese P-.o. med Sætig 5, da er uiformt itegrable. {X } og dermed { i X i } Trukerigstekikke ka på ligede vis bruges til at vise flg. geeralisatio af Komogorov s Store tals lov. Bemærk at de ædrede itegrabilitetsatagelse afspejler sig i valget af trukerigskostat. 52

15 LLN 4 Marcikiewicz-Zygmod s Store tals lov. Lad q < 2 være givet og lad (Y ) betege e følge af uafhægige idetisk fordelte variable med edelig q te momet. Idet µ beteger de fælles middelværdi, gælder da /q (Y i µ) 0 P-.o. og i L q. Bevis. Da q = allerede er klaret, betragter vi et < q < 2, og ved at se på Y µ i stedet for Y, ka vi atage, at de fælles middelværdi er lig 0. Skriv Y j = Y j +Y j = (Y j E[Y j])+y j + E[Y j] hvor Y j = Y j { Yj < j /q } og Y j = Y j { Yj i /q }. Ifølge Kroecker Lemma vil /q Y j 0 P-.o. hvis Y j / j /q er P-summabel. Det er derfor ok at vise, at flg. tre rækker hver for sig kovergerer P-.o. (Y j E[Y j]) j /q, Y j j /q og E[Y j] j /q. Leddee i de første sum er uafhægige, cetrerede og har edelig varias. Ifølge korollaret til LLN 2 og Pythagoras er række derfor P-summabel, hvis summe af variasere er edelig, dvs. hvis E[(Y j E[Y j ])2 ] j 2/q E[Y 2 j ] j 2/q <. Me dette gælder, da der fides e kostat r q > 0 ku afhægig af q, så at og dermed j 2/q r q x (2/q ) for alle x > 0 j: j>x E[Y 2 j ] j 2/q = E[Y 2 j 2/q ] r q E[Y 2 Y q(2/q ) ] = r q E[ Y q ]. j: j> Y q Kovergese af række r. to følger som ovefor af Borel-Catelli Lemmaet, for da E[ Y q ] er edelig, er P(Y j 0) = P( Y j j /q ) = 53 P( Y q j) <.

16 Hvad agår de sidste række bemærkes først, at da Y j ere har middelværdi 0 er dvs. vi skal vise, at E[Y j ] = E[Y j ] = E[Y j { Yj j /q } ] = E[Y j { Yj q j}], E[ Y { Y q j}] j /q <. Me dette følger af, at der fides edu e kostat r q ku afhægig af q, så at og dermed j /q r q x (/q ) for alle x > 0 j x E[ Y { Y q j}] j /q = E[ Y j /q ] r q E[ Y Y q(/q ) ]. j Y q Dvs. de betragtede sum er midre ed r q E[ Y q ] og derfor edelig..o.-kovergese er hermed vist. Beviset for kovergese i L q udsættes til seere. I beviset for oveståede L 2 -udgave af de store tals lov gjorde vi brug af implikatioe uafhægighed ukorrellerethed dvs. orthogoalitet I det æste resultat tages i stedet udgagspukt i ukorrellerethed. LLN 5 De store tals lov (L 2 -udgave, supplemet). Lad (X ) betege e følge af ukorrellerede kvadratisk itegrable stokastiske variable så at Var(X )/ 2 < Sæt for ˆX = = (X i E[X i ]). Da gælder ) ˆX 0 i sadsylighed og L 2 (P). 2) ˆX [λ ] 0 P-.o. for λ >. 3) ˆX 0 P-.o. hvis sup (X (ω) E[X ]) < eller if (X (ω) E[X ]) > for P-.a. ω. Betigelse i 3) er specielt opfyldt, hvis X ere er ikke egative og sup E[X ] <. Bevis. For emheds skyld skrives µ i stedet for E[X ]. Da (X µ ) pr. atagelse er parvis orthogoale i L 2 (P) fås for ethvert af Pythagoras, at E[ ˆX 2 ] = 2 E[(X j µ j ) 2 ] = 2 j ) 0, Var(X 54

17 hvor kovergese følger af atagelse og Kroecker Lemmaet. Dvs. dermed også i sadsylighed. For ethvert λ > har vi tilsvarede, da [λ ] λ 2[λ ], at ˆX 0 i L 2 (P) og = ( Var(X j ) E[ ˆX 2 [λ ] ] = = = :[λ ] j [λ ] 2 [λ ] Var(X j ) ) [λ ] 2 C λ j )/ j Var(X 2 <, hvor C λ er e kostat ku afhægig af λ. Dvs. for ethvert λ > er E[ = ˆX 2 [λ ] ] < og dermed ˆX 2 [λ ] < P-.o., = hvoraf 2) let følger, da leddee i e koverget række går mod 0. Ifølge 2) er hvor P( ˆX νk () 0 for alle k ) =, ν k () = [(+k ) ] for alle,k. Kombieres dette med atagelsere gælder derfor for P-.a. ω, at samt lim ˆX νk ()(ω) = 0 for alle k < if(x j (ω) µ j ) eller sup(x j (ω) µ j ) <, j og derfor som tidligere ævt, se, at lim ˆX = 0 P-.o. Ved at udytte LLN 5 pukt 3) ka ma, se Hoffma sektioere 4. og 4.2, vise, at Kolmogorov s store tals lov stadig gælder, selvom uafhægighed erstattes med parvis uafhægighed. Me da dee geeralisatio yderst sjældet er iteressat, vil vi lade de ligge. Lad mig til slut ude bevis æve flg. supplemet til LLN 5. Notatioe er som ovefor. Rademacher - Mesov s Store tals lov. Lad (X ) betege e følge af ukorrellerede kvadratisk itegrable stokastiske variable. Da gælder dvs. specielt log 2 Var(X ) < = = j (X E[X ]) summabel P-.o. log 2 = 2 Var(X ) < ˆX 0 P-.o. 55

18 De store tals love II. Som allerede ævt adskiller ekspoete 2 sig fra adre ekspoeter. Me som vi u skal se, ka ma i det uafhægige tilfælde ved hjælp af de såkaldte symmetriserigstekik alligevel vise ligede resultater for alle ekspoeter α > 0. E væsetlig brik i teorie er flg. resultat ormalt kaldet Khichie s Ulighed: LLN 6 Khichie s Ulighed. Lad (ε i ) i betege e følge af uafhægige Beroulli variable, dvs. P(ε i = ) = P(ε i = ) = /2 for alle i Da fides der for α > 0 positive kostater c α og C α ku afhægig af α, så at c α ( b 2 j )α/2 E[ for alle og alle reelle talfølger (b j ) j. b j ε j α ] C α ( b 2 j )α/2 Bevis del I. Ifølge Jese s ulighed er α E[ b j ε j α ] /α voksede for ethvert og alle reelle talfølger (b ), og da ses, at og E[ ( E[ b j ε j α ] E[ b 2 j )α/2 = E[ ( ) 2 b j ε j 2 ] = E[ b j ε j ] = b j ε j 2 ] α/2 = ( b j ε j 2 ] α/2 E[ b 2 j b 2 j ) α/2 for α 2 b j ε j α ] for α 2. ka altså bruges som C α for 0 < α 2 og som c α for α 2, og følge (b j ) j = (,0,...,0,...) viser, at begge kostater er optimale. De resterede tilfælde er tæt forbude, for er C α bestemt for α > 2, gælder ifølge Cauchy- Schwarz s Ulighed for 0 < α < 2, at E[ b 2 j = E[ b j ε j 2 ] = E[ b j ε j 4 α ] /2 E[ som efter forkortig viser, at ( b j ε j 2 α/2 b j ε j α/2 ] b j ε j α ] /2 C /2 4 α ( b 2 j ) α/4 E[ b 2 j )α/4 C /2 4 α E[ j ε j b α ] /2. 56 b j ε j α ] /2,

19 D.v.s.C 4 α ka bruges som c α i itervallet 0 < α < 2. Bestemmelse af C α for α > 2 er mere kompliceret, specielt er bestemmelse af de optimale værdi, dvs. de midst mulige, yderst vaskeligt. Hoffma viser i sektio 4.30, at C α = 2 α/2 α Γ(α/2) ka bruges. Dee kostat er ikke optimal ligesom de, vi u vil bestemme ved brug af teorie om betigede middelværdier. Bevis del II. Lad α > 2 og være givet og lad U,...,U betege uafhægige N(0,)- fordelte stokastiske variable. Defier B i := σ({u i > 0}) i =,..., og B := σ( B i ). Ifølge regeregler for betigede middelværdier gælder for ethvert i, da U i ere er symmetriske og P(U i > 0) derfor lig /2 for alle i, at E[U i B] = E[U i B i ] = ρ ( {Ui >0} {Ui 0}) P-.o., hvor ρ = 2 E[U i U i > 0] = 2 E[U i U i 0] = 2/π. D.v.s. E[U B]/ρ,...,E[U B]/ρ er uafhægige Beroulli variable, og for ethvert valg af kostater b,...,b gælder derfor D.v.s. ρ α E[ E[ er e mulig kostat. b j ε j α ] = E[ b j X j α ] = E[ N(0, b j E[U j B] α ] = E[ E[ b 2 j ) α ] = ( b j U j B] α ] b 2 j )α/2 E[ N(0,) α ]. C α := ρ α E[ N(0,) α ] = π (α )/2 Γ((α + )/2) Flg. to korollarer er u umiddelbare kosekveser af Khichie s Ulighed. Korollar Lad Z,...,Z betege uafhægige symmetriske stokastiske variable. Da gælder for ethvert α > 0 E[ Z k α ] C α E[( k Z 2 ) α/2 ] C α β(α) E[ Z k α ], hvor C α er kostate fra Khichie s ulighed, og β(α) = (α/2 ) +, dvs. β(α) = 0 for 0 < α 2 og β(α) = α/2 for α > 2. Bevis. Lad α > 0 være givet og lad ε,...,ε betege uafhægige Beroulli variable, så at 57

20 (Z,...,Z ) og (ε,...,ε ) er uafhægige. ε i Z i ere er da uafhægige, og da Z i ε i Z i, da Z i er symmetrisk, er (Z,...,Z ) (ε Z,...,ε Z ). Sættes H α (a,...,a ) = E[ ε k a k α ] for a,...,a R følger ved brug af Fubii s Sætig, ærmere bestemt Ua 5, at E[ Z k α ] = E[ ε k Z k α ] = E[H α (Z,...,Z )]. Me ifølge Khichie s Ulighed er H α (a,...,a ) C α ( E[ Z k α ] C α E[( Z k 2 ) α/2 ]. a 2 k )α/2 og derfor De sidste ulighed følger u ved for 0 < α 2 at udytte, at x x α/2 er subadditiv og voksede på R +, og for α > 2 at beytte flg. kosekves af Jese s Ulighed ( x k ) α α x k α x,...,x R. Bemærkig. Nærlæses Korollar ses, at atagelse om Z i ere ka svækkes til, at de 2 stokastiske vektorer (±Z,...,±Z ) har samme fordelig dvs. Ma udtrykker ofte dette ved at sige, at (Z,...,Z ) (±Z,...,±Z ). Z = (Z,...,Z ) er symmetrisk i R. Ved brug af Korollar 2 til Ua 5 ka vi u udvide oveståede ulighed til geerelle uafhægige variable. Kostatere C α og β(α) er de samme som i Korollar. Korollar 2 Lad Z,...,Z betege uafhægige stokastiske variable med edelig middelværdi µ k for k =,...,. Da gælder for ethvert α > 0 E[ k µ k ) (Z α ] 2 α C α β(α) E[ Z k µ k α ]. Bevis. Da ulighede er triviel for α, idet x x α er voksede og subadditiv på R +, betragtes et α >. Lad Y,...,Y være e uafhægig kopi af Z,...,Z, dvs. (Y,...,Y ) og (Z,...,Z ) er uafhægige og idetisk fordelte. 58

21 Da Z Y,...,Z Y derfor er uafhægige og symmetriske, fås af Korollar E[ k Y k ) (Z α ] C α β(α) E[ Z k Y k α ]. Me da Z k Y k for alle k og dermed E[ Z k Y k α ] 2 α (E[ Z k µ k α ]+E[ Y k µ k α ]) = 2 α E[ Z k µ k α ], følger påstade af det ovefor ævte korollar til Ua 5, idet E[ (Z k Y k ) α ] = E[ (Z k µ k ) (Y k µ k ) α ] E[ (Z k µ k ) α ], da α > og (Y k µ k ) har middelværdi 0. For at kue udvide de store tals lov til et geerelt α > 0 udledes først flg. L α -kovergesresultat for summer af uafhægige stokastiske variable. Da resultatet er e simpel kosekves af Korollar 2, formuleres det som edu et korollar. C α og β(α) er som ovefor. Korollar 3 Lad (X ) betege uafhægige stokastiske variable med edelig middelværdi µ for. Da gælder for ethvert 0 < α 2, at og for alle α > 0, at E[ X µ α ] < = = (X µ ) eksisterer i L α, E[ X µ α ]/ α β(α) < = (X k µ k ) 0 i L α. Bevis. Hvad agår det første resultat, er det ok at vise, at afsitsfølge er e Cauchy følge i L α. Me dette følger af atagelse og Korollar 2, idet dee viser, at for 0 < α 2 er m E[ k µ k ) k=(x α ] 2 α m C α E[ X k µ k α ] k= for alle m. Ifølge Korollar 2 gælder edvidere for alle, at E[ (X k µ k ) α ] 2α C α β(α) α E[ X k µ k α ] = 2α C α α β(α) hvoraf det adet resultat umiddelbart fås ved brug af Kroecker s lemma. E[ X k µ k α ], Vi ka u formulere og bevise e geerel L α -versio af de store tals lov. For α < 2 er der tale om e direkte oversættelse af L 2 -udgave, hvorimod mometbetigelse er e ade for α > 2. 59

22 LLN 7 De store tals lov (L α -udgave). Lad (X ) betege e følge af uafhægige stokastiske variable med edelig middelværdi µ for. Da gælder for α 2 og for α > 2 =E[ X µ α ]/ α < =E[ X µ α ]/ (+α/2) < Bevis. Lad α 2 være givet. Ifølge Korollar 3 pukt har vi E[ X µ α ]/ α < = (X i µ i ) 0 P-.o. og i L α (P). = (X i µ i ) 0 P-.o. og i L α (P). (X µ )/ koverget i L α. Række kovergerer derfor også P-.o. ifølge korollaret LLN 2, og Kroecker Lemmaet giver derfor umiddelbart, at ˆX := (X k µ k ) 0 P-.o. Ade del i Korollar 3 sikrer, at ˆX 0 i L α, og tilfældet α 2 er dermed klaret. Betragt deræst et α > 2. L α -kovergese af ( ˆX ) følger ige af Korollar 3. Hvad agår kovergese P-.o. udyttes som i beviset for LLN 2, at det er ok at vise, at ˆX 2 0 og M 0 P-.o., hvor M := max ˆX k ˆX 2 ˆX <k max Hertil er det som bekedt ok at vise, at E[ ˆX 2 α ] < = 2 <k 2 + k og j=2 + E[M α ] <. = (X j µ j ) for. Udyttes Korollar 2 ses, at der fides e kostat C ku afhægig af α, så at = C = E[ ˆX 2 α ] C E[ X j µ j α ] :2 j E[M α ] er derfor også edelig, hvis = = = E[ max 2α 2 (α/2 ) 2 α 2 E[ X j µ j α ] 2 (α/2+) 2C E[ X j µ j α ]/ j +α/2 <. 2 <k 2 + k j= (X j µ j ) α ] <.

23 Me ifølge Korollaret til Ottaviai s Ulighed er dette tilfældet, hvis = 2 og dermed ifølge Korollar 2 hvis 2+ E[ α 2 (α/2 ) = 2 α Me dette er etop atagelse, da = 2 (α/2+) j=2 + (X j µ j ) α ] <, 2 + E[ X j µ j α ] <. j= E[ X j µ j α ] 2 +α/2 E[ X j µ j α ]/ j +α/2 <. j=2 + Symmetriserig sikrer også de postulerede me ikke viste L q -koverges i Marcikiewicz- Zygmod s Store tals lov. Thi lad for < q < 2 situatioe være som i LLN 4. Først reduceres til det symmetriske tilfælde. For hvis (Ỹ j ) j er e uafhægig kopi af (Y j ) j, dvs. (Y j ) j og (Ỹ j ) j uafhægige og (Y j ) j (Ỹ j ) j og dermed Y j Ỹ j j og Ỹ j ere uafhægige, fås af korollaret til Ua 5, at E[ /q Y j q ] E[ /q Y j /q Ỹ j q ] = E[ /q (Y j Ỹ j ) q ], da q > og E[ /q Ỹ ] = 0. Da (Y j Ỹ j ) j ere er uafhægige, symmetriske og idetisk fordelte, er det derfor, hvad koverges i q-middel agår, ok at betragte det symmetriske tilfælde. Vi vil derfor i det videre forløb yderligere atage, at Y i ere er symmetriske. Betragt for et givet k opsplitige Y i = Y k,i +Y k,i hvor Y k,i := Y i { Yi k} og Y k,i := Y i { Yi >k}. De to følger (Y k,i ) i og (Y k,i ) i består begge af uafhægige, symmetriske og idetisk fordelte stokastiske variable. Ifølge Korollar 2 ovefor fides der derfor e kostat C ku afhægig af q, så at E[ /q Y k, j q ] C E[ Y k, q ] = C E[ Y q, Y > k], 6

24 og supe[ /q Y k, j q ] ka dermed gøres så lille som øsket ved at vælge k stor ok. L q -kovergese vil derfor være vist, hvis vi for givet k ka vise, at lim E[ /q Y k, j q ] = lim E[ /q Y j { Yj k} q ] = 0. Me da q < 2 er det ok at vise koverges i L 2, hvilket følger af Pythagoras, for da summadere for ethvert k er uafhægige cetrede kvadratisk itegrable variable, gælder E[ /q Y j { Yj <k} 2 ] = 2/q E[Y j 2 { Yj <k}] k2 2/q 0. 62

25 Fordeligskoverges. Lad i det følgede (S, d) betege et separabelt metrisk rum. Læsere abefales her at tæke på R eller mere geerelt delmægder heraf udstyret med de euklidiske metrik. Lad edvidere (X ) og X betege stokastiske fuktioer med værdier i S, dvs.(f,b(s))- målelige fuktioer fra Ω id i S, hvor (Ω,F,P) er et sadsylighedsfelt, hvorpå alle omtalte variable tækes defieret. I aalogi med det reelle tilfælde idføres flg. kovergesbegreb. Defiitio. X X i sadsylighed hvis lim P(d(X,X) > ε) = 0 for ε > 0. Bemærkig. Separabilitete af S sikrer at B(S S) = B(S) B(S), og da (x, y) d(x, y) er kotiuiert, er d(x,x) dermed e reel stokastisk variabel for ethvert. Mægdere {d(x,x) > ε} er derfor hædelser og ka som såda tilordes e sadsylighed. Hvis S = R er betigelse for koverges i sadsylighed de vel kedte lim P( X X > ε) = 0 for alle ε > 0, hvilket, som vist i Lemma 2, er ækvivalet med at lim E[ X X ] = 0. Dee ækvivales geeraliserer ude ædriger til det almee tilfælde, idet X X i sadsylighed d(x,x) 0 i sadsylighed lim E[d(X,X) ] = 0. Ved brug heraf fås som i det reelle tilfælde. Fk X X i sadsylighed X k X P-.o. for e delfølge ( k ) k. Bevis. Da d(x,x) 0 i sadsylighed i R fides der ifølge Propositio 6 e delfølge ( k ) k, så at d(x k,x) 0 P-.o., me dette siger etop, at X k X P-.o. E ade vigtig kosekves er følgede. Fk 2 Lad (T,δ) betege edu et separabelt metrisk rum og lad f : S T være e kotiuert fuktio. Da gælder X X i sadsylighed f(x ) f(x) i sadsylighed Bevis. Vi skal vise lim E[δ( f(x ), f(x)) ] = 0. Atag at det ikke gælder, dvs. atag Me dette fører til e modstrid, da r > 0 ( k ) k : E[δ( f(x k ), f(x)) ] > r for alle k. X k X i s.s. (k l ) l X kl X P-.o. f(x kl ) f(x) P-.o. δ( f(x kl ), f(x))) 0 P-.o. E[δ( f(x kl ), f(x))) ] 0. Kotiuitete udyttes i implikatio ummer to, og da det her er ok, at f er kotiuert i X(ω) for.a. ω, behøver f blot at være kotiuert P X -.o. Vi har derfor flg. skærpelse. Fk 2a Lad (T,δ) betege edu et separabelt metrisk rum og lad f : S T være e Borel fuktio, som er kotiuert P X -.o. Da gælder X X i sadsylighed f(x ) f(x) i sadsylighed 63

26 Specialtilfældet T = S og δ e metrik, der er ækvivalet med d, viser, idet de idetiske afbildig er kotiuert både som afbildig (S,d) (S,δ) og (S,δ) (S,d), at koverges i sadsylighed ikke afhæger af de eksplicit valgte metrik, blot vi holder os idefor klasse af ækvivalete metrikker. Dette udyttes f.eks. i følgede bevis. Fk 3 Idet S S udstyres med e produktmetrik gælder X X og Y Y i sadsylighed (X,Y ) (X,Y) i sadsylighed. Bevis. følger af Fk 2, da projektiosafbildigere er kotiuerte, og fås, da d ((x,y ),(x 2,y 2 )) := d(x,y )+d(x 2,y 2 ) er e produktmetrik, umiddelbart af ulighede d((x,y ),(X,Y)) d(x,x) +d(y,y). Sætig 5 og Fk 2 viser tilsamme, at der for alle f bc(s) gælder X X i sadsylighed f(x ) f(x) i sadsylighed f(x ) f(x) i L (P) E[ f(x )] E[ f(x)] = f dp X. Med udgagspukt heri idføres de såkaldte koverges i fordelig i hht. flg. defiitio. Defiitio. E følge (X ) af stokastiske fuktioer med værdier i S siges at kovergere i fordelig mod µ, et Borel sadsylighedsmål på S, hvis E[ f(x )] f dµ for alle f bc(s). Dette beteges i givet fald X µ. Hvis µ = PX for e stokastisk fuktio X med værdier i S skrives også X X, og ma taler om koverges i fordelig mod X. I følge de lille trasformatiossætig gælder altså, at X X E[ f(x )] E[ f(x)] for alle f bc(s). Oveståede overvejelser ka derfor formuleres som implikatioe. Fk 4 X X i sadsylighed X X. Græsemålet for e koverget følge er etydigt bestemt, dvs. X µ og X ν µ = ν. For ifølge Sætig 8 har vi X µ og X ν f dµ = f dν f bc(s) µ = ν. 64

27 Derimod ka vi sagtes have, at X X og X Y, selv om X og Y er vidt forskellige. Me deres fordelig er es, idet der gælder X X og X Y PX = P Y. Koverges i fordelig er derfor udelukkede e egeskab ved fordeligsmålee opfattet som Borel sadsylighedsmål på S, idet X X PX w PX, w hvor for Borel sadsylighedsmål (µ ) og µ på S µ µ (µ kovergerer svagt imod µ), hvis og ku hvis f dµ f dµ for alle f bc(s). Som følge heraf har det edog meig at tale om koverges i fordelig for variable, der ikke ødvedigvis er defierede på samme rum. Dette skal vi dog ikke udytte her, me det er vigtigt i mage sammehæge. Før vi ser ærmere på dette ye koverges begreb kyttes et par kommetarer til defiitioe. Da kotiuitet i metriske rum svarer til følgekotiuitet, bevares C(S) og dermed koverges i fordelig uder overgag til e ækvivalet metrik. Edvidere ses ved opsplitig i positiv og egativ del, at det er ok at eftervise defiitiosbetigelse for f bc(s) +, og da f f og f bc(s) + for f C(S) + fås af Mooto koverges, at X µ (X ) limif E[ f(x )] f dµ (E[ f(x)]) for alle f C(S) +. Dee implikatio ka også vedes om, idet der gælder. Fk 5 X µ limif E[ f(x )] f dµ for alle f bc(s) +. Bevis. Vi magler ku at vise, og som bemærket er det ok at se på ikke-egative fuktioer. Lad derfor f bc(s) + med 0 f M været givet. Da lim if E[(M f)(x )] = M limsupe[ f(x )] fås af atagelse brugt på f og M f, som begge er elemeter i bc(s) +, at lim ife[ f(x )] f dµ og M limsupe[ f(x )] M f dµ, hvilket alt i alt viser, at lime[ f(x )] = f dµ. 65

28 Ligesom i Fk 2a ka resultatere udvides til fuktioer, som ku er kotiuerte.o. Der gælder f.eks. Fk 5a X µ E[ f(x )] f dµ for ethvert f bm(s), som er kotiuert µ-.o. Bevis. Ku kræver et bevis. Ved opsplitig i positiv og egativ del og deræst at se på f og M f, hvor 0 f M, idses som ovefor, at det er ok at vise lim if E[ f(x )] f dµ for et givet f bm(s) +, som er kotiuert µ-.o. Defier for g bm(b(s)) + og k g k (x) := if(k g(y)+k d(x,y)) x S. y S Ved brug af flg. tre uligheder, hvor x, x S, k og r > 0, ) 2) 3) g k (x) k g(x)+k d(x,x) = k g(x) g(x) g k (x) = if (k g(y)+k d(x,y)) if (k g(y)+k d(x,y)) y b(x,r) y/ b(x,r) if k g(y) y b(x,r) if k d(x,y) k y/ b(x,r) if y b(x,r) g(y) kr g k (x) g k ( x) sup k g(y)+k d(x,y) k g(y) k d( x,y) y S ses, at (g k ) k C(S) + og at = k sup d(x,y) d( x,y) k d(x, x) y S 0 g k g k+ g k samt g k (x) g(x), hvis g er kotiuert i x. Da f pr. atagelse er kotiuert µ-.o., kovergerer f k f µ-.o., hvor f k ere er kostrueret ud fra f, som etop beskrevet. Heraf følger derfor ved brug af Mooto koverges, at lim if E[ f(x )] sup lim if E[ f k (X )] = sup f k dµ = f dµ. k k Læsere opfordres til at reformulere Fk 5 og Fk 5a svarede til at X X i stedet for X µ. 66

29 Kriterier for koverges i fordelig. Portmateau Sætig I. Lad (S, d) betege et separabelt metrisk rum og µ et Borel sadsylighedsmål på S samt (X ) e følge af stokastiske fuktioer med værdier i S. Idet Lip(S,d) := { f C(S) M > 0 : f(x) f(y) M d(x,y) x,y S}. er flg. udsag ækvivalete. ) X µ 2) gdµ limife[g(x )] for alle g blip(s,d) + S 3) µ(g) limif P(X G) for alle G S åbe 4) µ(f) limsup P(X F) for alle F S lukket. Bemærk at modsat C(S) afhæger Lip(S,d) eksplicit af metrikke d. Bevis. Da ) 2) er ideholdt i defiitioe, og ækvivalese mellem 3) og 4) følger ved overgag til komplemetær mægde, vises ku 2) 3) ). Atag 2) og lad G være e give åbe delmægde af S. Defier for k g k (x) = (k d(x,g c )) for x S. Kostruktioe viser, at g k G, og ved brug af trekatsulighede ses for k, at g k (x) g k (y) k d(x,g c ) d(x,g c ) k d(x,y) x,y S og dermed g k blip(s,d) +. Ifølge 2) og Mooto koverges gælder derfor µ(g) = sup g k dµ sup lim ife[g k (X )] limife[ G (X )] limifp(x G). k S k Atag 3). Som vist i Fk 5 er det ok at vise, at for givet f bc(s) + er f dµ limife[ f(x )]. Me for ethvert har vi og tilsvarede E[ f(x )] = 0 S P( f(x ) > t)dt = f dµ = og da { f > t} er åbe fås af Fatou s lemma, at 0 µ( f > t)dt 0 lim if 0 0 µ( f > t)dt, P( f(x ) > t)dt limif 67 P(X { f > t})dt 0 P( f(x ) > t)dt,

30 hvilket er de øskede ulighed. Til ehver Borel mægde B tilordes mægdere B := {x B ε > 0 : b(x,ε) B} og B := {x S ε > 0 : b(x,ε) B /0}. ( Hoffma bruger betegelsere it(b) og cl(b)) Dvs. B B B og B = B B åbe og B = B B lukket. B kaldes det idre af B og er de største åbe mægde ideholdt i B, og B kaldes aflukige af B og er de midste lukkede mægde, der ideholder B. bd(b) := B\B kaldes tilsvarede rade af B. Ækvivalese mellem ), 3) og 4) ka derfor formuleres på flg. måde. Korollar. X µ hvis og ku hvis µ(b ) limif P(X B) limsupp(x B) µ(b) for alle B B(S). Dvs. specielt: X µ lim P(X B) = µ(b) hvis µ(bd(b)) = 0. Læsere opfordres ige til selv at formulere udsagee i tilfældet X X. Beyttes korollaret i tilfældet S = R på mægder af forme B = (,x], fås, da B =(,x[ og B = B, at X µ µ((,x[) limif og dermed, da µ({x}) = µ((,x]) µ((,x[), F (x) limsupf (x) µ((,x]) X µ lim F (x) = µ((,x]) hvis µ({x}) = 0. F er her fordeligsfuktioe for X. Dette giver aledig til flg. karakterisatio af fordeligskoverges på R. Koverges i fordelig i R. Lad (X ) betege e følge af stokastiske variable og lad µ betege et Borel sadsylighedsmål på R. Idet F er fordeligsfuktioe for X og F µ fuktioe x µ((,x]) er flg. pukter ækvivalete a) X µ b) F µ (x ) limif F (x) limsup F (x) F µ (x) x R c) lim F (x) = F µ (x) hvis F µ (x ) = F µ (x) dvs. hvis µ({x}) = 0 d) lim F (x) = F µ (x) for x D hvor D er tæt i R e) limif P(a < X < b) µ(]a,b[) for alle < a < b <. Dvs. hvis X er e stokastisk variabel med fordeligsfuktio F, er flg. pukter ækvivalete a ) X X 68

31 b ) F(x ) limif F (x) limsup F (x) F(x) x R c ) lim F (x) = F µ (x) hvis F(x ) = F(x) dvs. hvis P(X = x) = 0 d ) lim F (x) = F(x) for x D hvor D er tæt i R e ) limif P(a < X < b) P(a < X < b) for alle < a < b <. Bevis. Da sidste del er e umiddelbar oversættelse, vises ku første del. Her magler vi ku at vise, at d) e) a). Lad derfor a < b betege give reelle tal. Da D er tæt i R, fides der følger (a k ) k og (b k ) k af elemeter i D, så at For alle,k gælder derfor D.v.s. a < a k < b k < b og a k a og b k b. P(a < X < b) P(a k < X b k ) = F (b k ) F (a k ) F µ (b k ) F µ (a k ). lim if P(a < X < b) sup(f µ (b k ) F µ (a k )) = µ(]a,b[) k og dermed d) e). For at vise de maglede implikatio lader vi G R betege e begræset åbe mægde. Som vist i Appediks F fides der højst tællelig mage parvis disjukte itervaller (]a i,b i [) i, så at G = i ]a i,b i [. Uder atagelse af e) gælder derfor limif µ(g) = sup k j j k µ(]a j,b j [) sup k P(a j < X < b j ) limif j k Lad deræst G betege e vikårlig åbe mægde. Da fås af det etop viste lim if P(X G) sup k lim ifp(a j < X < b j ) P(X j ]a j,b j [) limifp(x G). G k := G ] k,k[ G for k lim if Implikatioe e) a) følger u af Portmateau sætige. P(X G k ) supµ(g k ) = µ(g). k Det er værd at bemærke, at hvis F µ er kotiuert, dvs. hvis µ({x}) 0, gælder edvidere, se Appediks F, X µ sup F (x) F µ (x) 0, x R dvs. F ere kovergerer i dette tilfælde uiformt imod F µ. 69

32 Regeregler for koverges i fordelig. Portmateau Sætig II. Lad (S,d) og (T δ) betege separable metriske rum og lad (X ) og X hhv. (Y ) og Y betege stokastiske fuktioer med værdier i S hhv. T. Da gælder ) X X f(x ) f(x) for Borel fuktioer f : S T, som kotiuerte P X -.o. 2) X X og X degeereret X X i sadsylighed. 3) X X, Y Y og Y degeereret (X,Y ) (X,Y). 4) X X, Y Y og X og Y uafhægige (X,Y ) P X P Y. E ækvivalet og ofte mere avedelig formulerig af ) og 3) lyder som flg. µ er her et Borel sadsylighedsmål på S. ) X µ f(x ) µ f for Borel fuktioer f : S T, som er kotiuerte µ-.o. 3) X µ, Y Y og Y degeereret (X,Y ) µ P Y. Bevis. For ethvert g bc(t) er sammesætige g f Borel målelig og kotiuert P X -.o. Ifølge Fk 5a gælder derfor E[g( f(x ))] = E[g f(x )] g f dp X = gdp f(x), hvilket viser ). I 2) atages P(X = a) =. Da x d(x,a) bc(s) fås E[d(X,X) ] = E[d(X,a) ] E[d(X,a) ] = d(a,a) = 0, dvs. 2) er også vist. I 3) atages P(Y = a) =. Defier d ((x,y ),(x 2,y 2 )) := d(x,x 2 ) +δ(y,y 2 ) x,x 2 S, y,y 2 T. d er da e produktmetrik og for et vilkårligt elemet g Lip(S T, d) + gælder E[g(X,Y )] E[g(X,Y)] = E[g(X,Y )] E[g(X,a)] E[ g(x,y ) g(x,a) ]+ E[g(X,a)] E[g(X,a)] M E[δ(Y,a) ]+ E[g(X,a)] E[g(X,a)] 0 da x g(x,a) bc(s) og Y a i sadsylighed. Påstade følger derfor af de første Portmateu sætig. Det geerelle bevis for 4) geemgås ikke, me det vigtige specialtilfælde, hvor S = R og T = R m, behadles seere i forbidelse med Kotiuitetssætige. Det er værd at uderstrege, at 3) ikke gælder geerelt. Dvs. vedrørede koverges i fordelig ka vi ikke som i tilfældet med koverges.o. eller koverges i sadsylighed udlede koverges af vektore ud fra koverges af margialere. Et simpelt eksempel, der viser dette, er beskrevet i flg. situatio. Lad X betege e U(, )-fordelt stokastisk variabel, dvs. X X, og sæt for alle X = Y = X og Y = X. 70

33 Da gælder oplagt X X og Y Y. Hvis 3) derfor var sad ude restriktioer, ville (X,Y ) (X,Y) og dermed ifølge 2), da (x,y) x+y er kotiuert, 2X = X +Y X +Y = 0, dvs. P X = δ 0, hvilket oplagt ikke er rigtigt. 7

34 Kotiuitetssætige for karakteristiske fuktioer. Fra reel aalyse vides, at e følge (x k ) k i R er koverget, hvis og ku hvis (x k ) k er begræset, og L((x k ) k ) ideholder højst et pukt, hvor jævfør Appediks B L((x k ) k ) beteger mægde af limespukter, dvs. L((x k ) k ) := {x R (k l ) l delfølge : x kl x}. Resultatet bygger på, at e begræset mægde B R er prekompakt, dvs. (x k ) k B L((x k ) k ) /0. Dette geeraliserer uædret til et vilkårligt metrisk rum (S,d), idet der gælder E puktfølge (x ) i S er koverget, hvis og ku hvis mægde {x } er prekompakt, og L((x ) ) ideholder højst et pukt. Bevis. Ku hvis dele er allerede vist i Appediks B. Da (x ) er prekompakt, ideholder L((x ) ) et pukt {x}, og vi vil u vise, at x x. Atag at dette ikke gælder, dvs. r > 0 ( l ) delfølge : x l / b(x,r) for alle l. Ifølge atagelse er (x l ) l også prekompakt og har derfor midst et limespukt x. Me da L((x l ) l ) L((x ) ) må der gælde x = x, hvilket er umuligt, da d(x,x kl ) > r for alle l. Påstade er hermed vist. Med baggrud heri idføres u et prekompakthedsbegreb svarede til koverges i fordelig for stokastiske fuktioer med værdier i et polsk rum (S,d). Me da vi i dette kursus ku ser på S = R, vil vi i det følgede udelukkede kocetrere os om dette tilfælde. Begrebets betydig og kosekveser overføres dog uædret til ethvert polsk rum. Defiitio. E familie af sadsylighedsmål {µ i i I} på (R,B(R )) siges at være stram (tight), hvis ε > 0, K R kompakt : sup µ i (K c ) < ε, i I og e familie af -dimesioale stokastiske vektorer (X i ) i I siges at være stram, hvis mægde af fordeligsmål {P Xi i I} udgør e stram familie, dvs. hvis ε > 0, K R kompakt : sup i I P(X i / K) < ε. Da kompakthed i R er det samme som at være lukket og begræset, er dette ækvivalet med ε > 0, r > 0 : P( X i > r) < ε for alle i I, hvor x 2 := x2 j for x R. Markov s ulighed sikrer derfor flg. kriterium. Stramhed i R. Mometbetigelse. E familie (X i ) i I af -dimesioale stokastiske vektorer er stram, hvis der fides et α > 0 så at supe[ X i α ] <. i I 72

35 Defiitioe viser umiddelbart, at stramhed ligesom begræsethed og mere geerelt prekompakthed er stabil uder edelig foreigsmægdedaelse, samt at delmægder af stramme mægder ige er stramme, og ikke overraskede gælder tillige flg. udsag. Eksempler på stramhed. Ehver edelig mægde af sadsylighedsmål er stram, og ligeledes er ehver følge af stokastiske fuktioer (X k ) k, som kovergerer i fordelig, stram. Bevis. Hvad agår edelige mægder, er det ok at vise, at alle etpukts mægder er stramme. For R -tilfældet er dette e umiddelbar kosekves af, at R er voksede foreigsmægde af kompakte mægder, f.eks. b(0, k). Det geerelle bevis, der udytter e i polske rum gældede alterativ karakterisatio af kompakthed, ka fides i afsittet "Mål på metriske rum". Ade del vises ku i R -situatioe. Atag derfor at (X k ) k kovergerer i fordelig imod et Borel sadsylighedsmål µ på R. Som vist i korollaret til Portmateau Sætig I gæder derfor limp( X k > r) = µ(r \ b(0,r)) r > 0 k hvis µ(bd(b(0,r))) = 0, dvs. alle påær tællelig mage r, da Lad ε > 0 være givet og vælg r så at bd(b(0,r )) bd(b(0,r 2 )) = /0 hvis r r 2. lim k P( X k > r ) = µ(r \ b(0,r )) < ε/2. Der fides derfor et k 0 så at P( X k > r ) < ε for k k 0. Me da de edelige mægde {X k, k k 0 } er stram, ka vi vælge et r 2, så at P( X k > r 2 ) < ε for k k 0, og for r := r r 2 gælder derfor sup k P( X k > r) < ε. Som allerede udyttet i det etop geemførte bevis, sikrer stramhed af ehver edelig familie af mål eller stokastiske vektorer, at e følge (X k ) k er stram, hvis ma ka vise, at ε > 0, K R kompakt : limsupp(x k / K) ε. k eller ækvivalet ε > 0, r > 0 : limsupp( X k > r) ε. k Dette udyttes f.eks. i beviset for flg. ækvivalete beskrivelse af stramhed. Stramhed i R. E følge (X k ) k af -dimesioale stokastiske vektorer er stram hvis og ku hvis ε > 0, a > 0 : limife[e a2 X k 2 ] > ε. k 73

36 Bevis. Lad ε > 0 være givet. Vælg a > 0, så at lim if k E[e a2 X k 2 ] > ε/2 eller ækvivalet limsup( E[e a2 X k 2 ]) < ε/2. k Da x e a2 x 2 er voksede på R + fås af Markov s ulighed at P( X k > /a) = P( e a2 X k 2 > e ) E[e a2 X k 2 ] e for alle k, og da e > /2 har vi derfor lim supp( X k > /a) < 2ε/2 = ε, k hvilket, som ævt, medfører stramhed. Ku-hvis-dele overlades til læsere. Det æste resultat viser, at stramhed er det kompakthedsbegreb for fordeligskoverges i R, som vi har atydet. Der gælder et tilsvarede resultat i ethvert polsk rum, me de geerelle sætig, der er kedt uder avet Prokhorov s Sætig, er oget mere kompliceret. Helly-Bray s Sætig. Ehver stram følge (X k ) k af -dimesioale stokastiske vektorer har midst et limespukt, dvs. der fides e delfølge (k l ) l og et Borel sadsylighedsmål µ på R, så at X kl µ. E følge af -dimesioale stokastiske vektorer (X k ) k kovergerer derfor i fordelig, hvis og ku hvis de er stram og har højst et limespukt. Første del vises ku i tilfældet =. Tilfældet > klares på æste samme måde, me er dog mere kompliceret, både hvad agår opskrivig og idhold. Bevis. Lad F k betege fordeligsfuktioe for X k. Ifølge Helly s Lemma (se Appediks F) eksisterer der da e delfølge (k l ) l og e højrekotiuert voksede fuktio F : R R, så at 0 F og lim l F kl (x) = F(x) for alle x C F, hvor C F beteger mægde af kotiuitetspukter for F. Da stramhed af (X k ) k i R ka formuleres som ses, da C F er tæt i R, at ε > 0, r > 0 : supf k ( r) ε og if F k(r) ε k k lim F(x) = 0 og lim x F(x) =. x Lebesgue-Stieltjes målet λ F hørede til F er derfor et sadsylighedsmål, da λ F (R) = lim r λ F (] r,r]) = lim r (F(r) F( r)) =, og vi vil u vise, at X kl λf. Me da F(x) = λ F (],x]) for alle x R er dette e umiddelbar kosekves af resultatet agåede fordeligskoverges i R. Hvad agår ade del, magler vi ku at vise hvis-dele. Lad derfor µ betege et limespukt. 74