Forelæsigsoter til Sadsylighedsteori.2 Sved Erik Graverse Jauar 2006 Istitut for Matematiske Fag Det Naturvideskabelige Fakultet Aarhus Uiversitet.
Mometproblemet. I dette afsit beteger X e stokastisk variabel med mometer af ehver orde. Mometfølge (E[X ]) er derfor e vel defieret reel talfølge bestemt ved fordelige, og spørgsmålet, om de omvedt bestemmer fordelige, er kedt uder avet Mometproblemet. Som bemærket sidst i afsittet Separatio af edelige Borel mål gælder dette for begræsede stokastiske variable, og ifølge det udleverede fordeligskatalog gælder det også for alle de kedte fordeligstyper med mometer af ehver orde påær log-ormalfordelige. Et sådat eksempel på e vigtig fordeligstype, hvor mometfølge ikke bestemmer fordelige etydigt, gør det aturligvis iteressat at vide, hvorår det er tilfældet. Problemet, der er blevet studeret i æste 00 år, er stadig uløst i de forstad, at ma edu ikke er i stad til at formulere e simpel geerel ødvedig og tilstrækkelig betigelse på mometfølge, som sikrer, at dee bestemmer fordelige. Me flg. simple betigelse er ofte brugbar. BMp E stokastisk variabel X siges at opfylde BMp, hvis E[ e ρ X ] < for et ρ > 0. BMp holder klart, hvis X er begræset, dvs. hvis P ( X M) = for et M R +, og som det fremgår af fordeligskatalogets pukt (H), er de opfyldt for omtret alle de kedte fordeligstyper. E stokastisk variabel, som opfylder BMp, har ødvedigvis mometer af ehver orde, og da E[ e r X ] = r E[ X ]/! for alle r > 0 =0 ifølge Mooto koverges, sikrer potesrækketeori, at BMp er ækvivalet med, at lim sup ( E[ X ]/! ) / < dvs. c R + : E[ X ] c!. Begrudelse for at BMp er iteressat ligger, som allerede idikeret, gemt i flg. resultat. Mp Hvis X opfylder BMp, bestemmer mometfølge (E[X ]) fordelige for X. Bevis. BMp betyder specielt, at lim ρ E[ X ]/! = 0, og ifølge Kf 9 ka ϕ X derfor rækkeudvikles omkrig ethvert pukt a med e kovergesradius, som er midst ρ. Heraf ka resultatet u vises, for ved først at rækkeudvikle omkrig 0 ses, da ϕ X (0) =, at (E[X ]) bestemmer ϕ X og dermed alle des afledede i itervallet ] ρ, ρ [. Ved foryet rækkeudviklig omkrig pukter tæt ved ρ og ρ ses derfor, at dette også gælder i itervallet ] 2ρ, 2ρ [. Såda fortsættes og mometfølge bestemmer derfor ϕ X og dermed ifølge Etydighedssætige for karakteristiske fuktioer fordeligsmålet P X. BMp er e betigelse på de absolutte mometer, me der gælder flg. resultat. Mp 2 Lad X og Y betege give stokastiske variable med mometer af ehver orde, så at E[X k ] = E[Y k ] for alle k. Da holder BMp for X, hvis og ku hvis BMp holder for Y ; og i givet fald er X og Y derfor idetisk fordelte. 56
Bevis. Atag at X opfylder BMp, dvs. c R + : E[ X ] c!. Ifølge Cauchy-Schwarz s gælder derfor E[ Y ] E[Y 2 ] = E[X 2 ] c 2 (2)! = c (2)!, og da (2)! 2! for alle ses, at Y også opfylder BMp. Reste følger af Mp. Lad fortsat X betege e give stokastisk variabel. Da e ax e ax e a X e ax + e ax for a > 0, gælder, at X opfylder BMp R(L X ) ideholder et åbet iterval omkrig 0, hvor R(L X ) := {t R E[e tx ] < }. R(L X ) er altid et iterval ideholdede 0, me ka bestå af 0 alee eller have 0 som ete vestre eller højre edepukt. Defier M X (t) := E[e tx ] for t R(L X ). M X ( ) kaldes de mometfrembrigede fuktio, da mometere i mage situatioer ka bestemmes ud fra M X ( ). For ideholder R(L X ) et åbet iterval af forme ] ɛ, ɛ [, så har X mometer af ehver orde, og ifølge Lebesgue s Sætig er M X (t) = = E[X ]! t for t < ɛ. Ifølge potesrækketeori er t M X (t) derfor uedelig ofte differetiabel i 0 med Alt i alt viser dette samme med Mp. M () X (0) = E[X ]. Mp 3 Lad X og Y være stokastiske variable. Fordelige for X er etydig bestemt ved M X, hvis dee er edelig i et åbet iterval omkrig 0, og X og Y er idetisk fordelte, hvis M X (t) = M Y (t) < for alle t i et åbet iterval omkrig 0. Bemærkig. Da mometere er bestemt som afledede i puktet 0, ka ma forholdsvis emt vise, at det er ok, at R(L X ) R(L Y ) ideholder et åbet iterval omkrig 0 og at M X (t ) = M Y (t ) for e følge (t ), som kovergerer mod 0. Et såkaldt målskifte argumet viser, at Mp 3 gælder uædret for ethvert iterval, dvs. Mp 3a Stokastiske variable X og Y er idetisk fordelte, hvis M X (t) = M Y (t) < for alle t i et åbet iterval. Bevis. Atag M X (t) = M Y (t) < for alle t ] λ, λ 2 [, hvor λ < λ 2. Lad λ 0 ] λ, λ 2 [ være valgt og lad Q X og Q Y betege sadsylighedsmålee på (Ω, F) givet ved Q X := a e λ 0X dp og Q Y := a e λ 0Y dp, hvor a = E[e λ 0X ] = E[e λ 0Y ]. 57
Lad edvidere M Q X og M Q Y betege de mometfrembrigede fuktioer for X uder Q X og Y uder Q Y. Reglere for itegratio med hesy til afledte mål viser, at M Q X og M Q Y er edelige og es i itervallet ] λ λ 0, λ 2 λ 0 [, idet M Q X (t) = EQ X [e tx ] = a E[e tx e λ 0X ] = a E[e (t+λ 0)X ] for alle t og tilsvarede for M Q Y. Me da 0 ] λ λ 0, λ 2 λ 0 [ følger derfor af Mp 2 at Specielt er Q X X = Q Y Y. E[f(X) e λ 0X ] = a E Q X [f(x)] = a E Q Y [f(y )] = E[f(Y ) e λ 0Y ] og dermed E[f(X)] = E[f(Y )] for alle kotiuerte fuktioer f med kompakt støtte. Me dette er ku muligt, hvis X og Y har samme fordelig. 58
De flerdimesioale ormalfordelig. Som e simpel kosekves af etydighedssætige og regeregler for karakteristiske fuktioer fås flg. vel kedte egeskab ved klasse af e-dimesioale ormalfordeliger. Hvis X,..., X er uafhægige ormalfordelte stokastiske variable, er a ix i ige ormalfordelt for ethvert valg af reelle kostater a,... a. Med udgagspukt heri idføres flg. flerdimesioale fordeligsklasse. Defiitio. E -dimesioal stokastisk vektor X = (X,..., X ) siges at være -dimesioal ormalfordelt, hvis t X := t i X i er ormalfordelt for alle t = (t,..., t ) R. Vælges t som e passede ehedsvektor ses, at koordiatvariablee i e flerdimesioal ormalfordelig X alle er e-dimesioale ormalfordeliger, dvs. de har både middelværdi og varias. Middelværdivektore og kovariasmatrice µ X := (E[X ],..., E[X ]) og σ X := {Cov(X i, X j )} i, j er derfor vel defierede, og som i det e-dimesioale tilfælde gælder også for de - dimesioale ormalfordelig, at de er bestemt ved si tilhørede middelværdivektor og kovariasmatrice. Der gælder emlig flg. resultat. N Hvis X og Y er -dimesioal ormalfordelt med µ X = µ Y og σ X = σ Y, så er ϕ X = ϕ Y, dvs. X og Y er idetiske fordelte. Bevis. Lad t R være givet. Da t X og t Y begge er ormalfordelte stokastiske variable, er de idetisk fordelte, da E[t X] = t µ X = t µ Y = E[t Y ] og V ar(t X) = t i σ X (i, j) t j = t i σ Y (i, j) t j = V ar(t Y ). i, j i, j Dvs. for t R er ϕ X (t) = E[ exp(i (t X))] = E[ exp(i (t Y ))] = ϕ Y (t), hvilket ifølge Etydighedssætige for karakteristiske fuktioer betyder, at X Y. Det har altså meig, at tale om de -dimesioale ormalfordelig med middelværdi vektor µ og kovariasmatrice σ, og vi vil i dee forbidelse kort skrive X N (µ, σ), hvis X er -dimesioal ormalfordelt med µ X = µ og σ X = σ. Ved foryet brug af Etydighedssætige for karakteristiske fuktioer har vi derfor flg. karakterisatio. 59
N 2 X N (µ, σ) ϕ X (t) = exp ( i (t µ) /2 t σ t t) t R. Ud fra N og N 2 følger u umiddelbart forskellige vigtige egeskaber ved flerdimesioale ormalfordeliger. Som det er sædvae bruges samme otatio for de lieære afbildig og de tilhørede matrice udreget i hht. de kaoiske basis. Formlere forudsætter, at vektorere i R opfattes som søjlevektorer. Detaljere overlades til læsere. N 3 Klasse af flerdimesioale ormalfordeliger er stabil uder affie trasformatioer, dvs. hvis X N (µ, σ) og T : R R m lieær, så er Y := y + T (X) N m (y + T (µ), T σ T t ) for ethvert y R m. Specielt er Y N m (y, T T t ), hvis X N (0, I ). Bevis. Da ehver liearkombiatio af koordiatere i Y er e affi liearkombiatio af koordiatere i X, er Y m-dimesioalt ormalfordelt. Reste følger u ved beregig af de tilhørede middelværdivektor og kovariasmatrice. Edvidere fås ved getage avedelse af Kf 6, dvs. ækvivalese mellem uafhægighed og faktoriserig af de karakteristiske fuktio, at uafhægighed og ukorellerethed er det samme for simultat ormalt fordelte variable. Der gælder emlig flg. resultat. N 4 Hvis Z er e flerdimesioal ormalfordelt stokastisk vektor, er vilkårlige margialer (Z,... Z k ) og (Z m,... Z ml ) uafhægige hvis og ku hvis Cov(Z i, Z mj ) = 0 for alle i =,..., k og j =,..., l. Hvis X N (µ, σ ) og Y N m (µ 2, σ 2 ) er uafhægige, er (X, Y ) N +m (µ, σ), hvor ( ) σ 0 µ = (µ, µ 2 ) og σ = 0 σ 2. Korollar X = (X,... X ) N (0, I ) hvis og ku hvis X,... X er uafhægige N(0, )- fordelte stokastiske variable. ( I beteger her ehedsmatrice.) Flerdimesioale ormalfordeliger er ikke ødvedigvis absolut kotiuerte, me det æste resultat viser, hvorår det er tilfældet. N 5 X N (µ, σ) er absolut kotiuert σ er ivertibel, og i givet fald er e tæthed givet ved x exp (2π) det σ 2 i, j (x i µ i ) σ (i, j) (x j µ j ) x R. Bevis. Hvis σ ikke er ivertibel, fides der et t R \ {0}, så at V ar(t X) = t σ t t = 0. Der fides derfor e kostat c R, så at t X = c P -.o, dvs. P (X A(t, c)) = hvor A(t, c) = {x R t x = c}. 60
Me dette er uforeeligt med absolut kotiuitet, da ethvert ægte affit uderrum i R har Lebesgue mål 0. Hvis omvedt σ er ivertibel, ka de ifølge vel kedt teori skrives på forme σ = T I T t, hvor T : R R er e lieær bijektio. Ifølge N 3 gælder derfor X µ + T (U) hvor U N (0, I ). N 5 følger u som tidligere vist af de lieære trasformatiossætig, for da koordiatvariablee U,..., U i U er uafhægige N(0, )-variable, har U tæthed x (2π) /2 exp ( x 2 /2 ) = (2π) /2 exp ( 2 x 2 i ). Til slut æves ude bevis flg. resultat agåede betigede fordeliger. (Se afsittet om betigede middelværdier for ikke forklaret otatio.) Vi betragter ku det to -dimesioale tilfælde, me der gælder et helt tilsvarede udsag i højere dimesioer. N 6 Lad (X, Y ) være to -dimesioalt ormalt fordelt, og atag at Y ikke er kostat. Da gælder for alle y R, at uder det betigede mål givet Y = y, er X N(µ X + (y µ Y ) σ X,Y /σ 2 Y, σ 2 X σ 2 X,Y /σ 2 Y ), hvor µ X, µ Y, σx 2 og σ2 Y er middelværdi og varias for X og Y, og σ X,Y er kovariase mellem dem. 6
Maksimal Uligheder. Ottaviai s Ulighed. Lad X,..., X betege uafhægige stokastiske variable. Sæt M = max j S j, hvor Da er S k = X + + X k k. P (M > x + y) mi j P ( S S j y) P ( S > x) for alle x, y R. Bevis. Da ulighede er triviel, hvis ete x eller y er egativ, lader vi x, y 0 være givet. Sæt D = { S > x + y} og D j = { S j > x + y, S x + y,..., S j x + y} j 2. Da D j ere er disjukte og {M > x + y} = D j, er P (M > x + y) = For ethvert j fås edvidere af trekatsulighede at P (D j ). { S j > x + y} { S + S S j > x + y} { S > x} { S S j > y}. Heraf følger, da (X,..., X j ) og dermed D j og S S j er uafhægige, at P (M > x + y) hvoraf ulighede følger, da (P ({ S > x} D j ) + P ({ S S j > y} D j )) (P ({ S > x} D j ) + P ( S S j > y) P (D j )) Korollar For alle p > 0 er P ( S > x) + max j P ( S S j > y) P (M > x + y), max j P ( S S j > y) = mi j P ( S S j y). E[ M p ] 2 p+ ( + 2 p+ ) max j E[ S j p ]. Bevis. Lad p > 0 være givet og atag ude tab af geeralitet, at m := max j E[ S j p ] <. For τ := (2 p+ m ) /p gælder ifølge Markov s Ulighed P ( S S j > τ) E[ S S j p ] τ p 2 p E[ S p ] + E[ S j p ] τ p 2p m τ p = /2 62
og dermed Dvs. mi P ( S S j τ) /2 = /2. j P (M > x) = P (M > (x τ) + τ) 2 P ( S > x τ) = 2 P ( S + τ > x) for alle x > 0 og ved itegratio med p x p dx fra ul til uedelig fås derfor E[ M p ] 2 E[ ( S + τ) p ] 2 p E[ S p + τ p ] 2 p+ ( + 2 p+ ) m. Atages yderligere at X i ere alle har middelværdi 0, og S j og S S j derfor uafhægige og cetrerede for j, sikrer Korollar 3.3 ulighede E[ S S j p ] E[ S S j + S j p ] = E[ S p ] for j og p. τ ovefor ka derfor vælges lig (2 E[ S p ]) /p, hvorefter et tilsvarede argumet giver Korollar 2 Hvis E[X i ] = 0 for alle i er E[ M p ] 3 2 p E[ S p ] for p. Det er værd at bemærke, at kostatere i Korollar og 2 ku afhæger af p og ikke af de idgåede variable. Ottaviai s Ulighed gælder for alle sæt af uafhægige stokastiske variable, me er variablee yderligere symmetriske, dvs. X X, gælder med samme otatio flg. mere præcise resultat. Lévy s Ulighed. Lad X,..., X betege uafhægige symmetriske stokastiske variable. Da er P (M > t) 2 P ( S > t) for alle t > 0, og dermed E[M p ] 2 E[ S p ] for alle p > 0.. Bevis. Lad t > 0 være givet. Sæt ige D = { S > t} og D j = { S j > x, S t,..., S j t} j 2. Da D j ere er disjukte gælder som ovefor P (M > t) = P ( S j > t, D j ) = P ( S + S j > 2t, D j ) hvor P ( S > t, D j ) + P ( S j > t, D j ), S j := X + + X j (X j+ + + X ). 63
Me da X i ere er symmetriske og uafhægige, er (X,..., X ) (X,..., X j, X j+,..., X ) for alle j, og dermed specielt P ( S > t, D j ) = P ( S j > t, D j ) for alle j. Idsættes dette ovefor fås P (M > t) 2 P ( S > t, D j ) 2 P ( S > t). Mometulighede følger umiddelbart ved itegratio. Lad i det følgede (X ) betege e følge af uafhægige stokastiske variable. samme otatio som ovefor fås for ethvert p > 0 af Korollar, at Med hvor (S ) er begræset i L p hvis og ku hvis M L p, M = sup M = sup S. I dee forbidelse er det iteressat at observere, at M uder svage ekstrabetigelser ka udskiftes med de midre L = sup X. For sættes gælder flg. udsag. R(a) = sup P ( S > a) for a > 0 Korollar 3 Hvis lim a R(a) = 0 er (S ) begræset i L p, hvis og ku hvis L L p. Bevis. Lad p > 0 være givet. Da X S S S + S 2M for alle er L 2M, hvorfor ku hvis dele er e kosekves af det oveståede. Atag derfor at L L p og dermed specielt, at alle X ere og derfor også alle S ere ligger i L p. Sæt for ethvert a > 0 For alle a, y > 0 har vi u T a = if { S > a}. P ( S > 2(a + y)) = P ( S > 2(a + y), T 2a+y ) P ( S S T2a+y > a, T 2a+y ) + P ( S T2a+y > a + 2y, T 2a+y ) P ( S S k > a, T 2a+y = k) + P ( S T2a+y > a + 2y, T 2a+y ) 64
= P ( S S k > a) P (T 2a+y = k) + P ( S T2a+y > a + 2y, T 2a+y ) (P ( S > a/2) + P ( S k > a/2)) P (T 2a+y = k) + P ( S T2a+y > a + 2y, T 2a+y ) 2R(a/2) P (T 2a+y ) + P ( S T2a+y > a + 2y, T 2a+y ) 2R(a/2) P (M > 2a + y) + P (2a + y + L > a + 2y) Me da 2R(a/2) P ( S > a + y) + P (a + L > y) mi j P ( S S j a) mi P ( S S j a) = max P ( S S j > a) j j har vi alt i alt vist eller ækvivalet max j (P ( S > a/2) + P ( S j > a/2)) 2R(a/2) P ( S > 2(a + y)) 2R(a/2) 2R(a/2) P ( S > a + y) + P (a + L > y) P (( S 2 a)+ > y) 2R(a/2) 2R(a/2) P (( S a) + > y) + P (a + L > y). Itegreres u på begge sider fra ul til uedelig med p y p dy fås derfor E[(( S 2 a)+ ) p ] 2R(a/2) 2R(a/2) E[(( S a) + ) p ] + E[ a + L p ] hvoraf følger, da og dermed at Vælges u a så stor at har vi derfor og dermed resultatet. 2R(a/2) 2R(a/2) E[ S p ] + 2 p (a p + E[L p ]), S /2 ( S /2 a) + + a E[ S p ] 4 p (E[(( S /2 a) + ) p ] + a p ), E[ S p ] 4p 2R(a/2) 2R(a/2) E[ S p ] + 8 p (a p + E[L p ]) + 4 p a p. 4 p 2R(a/2) 2R(a/2) < /2, E[ S p ] 2 (8 p (a p + E[L p ]) + 4 p a p ) 65
De store tals love I. Betegelse De store tals love dækker over et utal af resultater vedrørede de asymptotiske opførsel af empiriske geemsit, dvs. variable af forme X i eller mere geerelt (X i µ i ), med heblik på koverges P -.o. eller i sadsylighed for. (X ) er her e følge af stokastiske variable og (µ ) e reel talfølge. Der fides tilsvarede resultater for stokastiske vektorer (X ) og vektorer (µ ). Hvis X i ere har edelig middelværdi, vælges µ i ormalt som middelværdie E[X i ], og der er i dee situatio dermed tale om ormerede cetrerede partialsummer. Resultatere opdeles i to kategorier, idet der skeles mellem stærke og svage love. E stærk lov er her et udsag, der sikrer koverges P -.o. i modsætig til e svag lov, som vedrører koverges i sadsylighed. Da koverges.o. som bekedt medfører koverges i sadsylighed, giver ehver stærk lov aledig til e tilsvarede svag lov. Det absolut vigtigste resultat idefor emet, hvis historie går helt tilbage til Berouilli brødree i begydelse af 700 tallet, er flg. klassiske stærke lov ofte omtalt som e af sadsylighedsteories tre perler. LLN Kolmogorov s Store tals lov. Hvis (X ) er e følge af uafhægige idetisk fordelte stokastiske variable med edelig middelværdi µ, kovergerer X i µ P -.o. og i L (P ). Da E[X ] = µ for alle ka påstade ækvivalet formuleres som (X i E[X i ]) 0 P -.o. og i L (P ). Resultatet spiller e meget vigtig rolle i sadsylighedsteorie, da det dukker aturligt op i mage sammehæge. Me det er også af e mere fudametal betydig for de modere sadsylighedsteori, dvs. Kolmogorov-modelle. For kue et sådat resultat ikke vises, ville modelle simpelt he være ubrugelig. Edvidere fremhæver det betydige af det idførte middelværdibegreb, for som resultatet viser, kovergerer de empiriske middelværdi mod de teoretiske, hvis dee eksisterer, uaset hvilke fordelig der ed er tale om. I bestræbelsere på at bevise LLN er der udviklet mage særdeles værdifulde tekikker, som udover at tjee deres opridelige formål har muliggjort mage udvidelser af resultatet. Vi skal i det følgede beskæftige os med e lille del af dee omfattede teori, me det er vigtigt hele tide at have oveståede hovedresultat i takere. 66
Flg. spørgsmål fra de reelle aalyse er tydeligvis af iteresse : Hvorår er lim a i = 0 for e give reel talfølge (a )?, dvs. hvorår kovergerer a 0 i Cecaro middel? Som bekedt gælder dette, hvis a 0 i sædvalig forstad, me yderligere to resultater er af iteresse. ( Se Appediks G for e øjagtig formulerig og bevis.) Først og fremmest det såkaldte Kroecker Lemma, dvs. implikatioe = a /b koverget i R lim b a i = 0, hvor 0 < b < b +. Tilfældet b er specielt vigtigt, me vi skal også beytte det i adre tilfælde. Desude vises, at hvis a ere ete er opad eller edad begræsede, så er lim [λ ] a i = 0 hvis lim [λ a i = 0 for ethvert λ >. ] Til seere brug bemærkes, at det er ok, at kovergese holder for ethvert af de tællelig mage λ er af forme + k for k. Med baggrud i dette åber der sig derfor to mulige bevismetoder for oveståede sætig. Ete ka de omformuleres til et spørgsmål om koverges i R P -.o. af de uedelige række (X µ)/, eller også ka ma først studere = (X i µ) lags med hurtigt voksede delfølger af forme ([λ ]) for λ >, og deræst herudfra forhåbetligt deducere de øskede koverges for hele følge. Tilfældet, hvor X i ere er uafhægige, er af speciel iteresse. I dee forbidelse er det æste resultat, som viser, at.o.-koverges og koverges i sadsylighed er sammefaldede for summer af uafhægige variable, meget vigtigt. LLN 2.o.-koverges af summer af uafhægige variable. Lad (Z ) betege e følge af uafhægige variable. Da gælder Z er summabel P -.o. = hvor summabel P -.o. betyder at Z koverget i sadsylighed, = Z (ω) er koverget i R for P -.a. ω. = Korollar For uafhægige stokastiske variable (Z ) gælder for alle p > 0 = Z koverget i L p (P ) 67 = Z er summabel P -.o.
Korollaret, der er iteressat, fordi koverges i L p ofte er simpelt at eftervise, er e umiddelbar kosekves af sætige, da koverges i L p medfører koverges i sadsylighed. Herudfra deduceres f.eks. ude problemer flg. stærke lov. LLN 3 De store tals lov (L 2 -udgave). Lad (X ) betege e følge af uafhægige kvadratisk itegrable stokastiske variable. Da gælder V ar(x )/ 2 < = (X i E[X i ]) 0 P -.o. og i L 2 (P ). Bevis. Uafhægighede bevirker, at (X E[X ]) udgør e orthogoal følge i L 2, og da X E[X ] 2 2 = V ar(x ) for alle fås af Pythagoras, mere præcist Lemma 5.6, at V ar(x )/ 2 < = (X E[X ])/ kovergerer i L 2 (P ). = P -.o.-kovergese følger u af oveståede korollar samt Kroeckers Lemma, og da ( E[ ) 2 (X i µ i ) ] = 2 V ar(x i ) følger kovergese i L 2 ligeledes af Kroecker Lemmaet. Bemærkig. Da beviset udytter orthogoalitetsbegrebet, er det på ige måde klart, at resultatet ka geeraliseres til ekspoeter α 2. Me vi skal seere se, at det dog i et vist omfag er muligt. Bevis for LLN 2. Sæt for S = Z i og lad S betege græsevariable, dvs. S S i sadsylighed. Der fides derfor e delfølge ( k ) k, så at S k S.o. for k. Defier for k M k := max k <l k S l S k, hvor 0 = 0 og S 0 := 0. Da S k S k 0 P -.o. er for givet ɛ > 0 #{k S k (ω) S k (ω) > ɛ } < for P -.a. ω, og da S k S k ere er uafhægige, følger derfor af Det adet Borel - Catelli Lemma at P ( S k S k > ɛ) <. Me ifølge Ottaviai s ulighed er P (M k > 2ɛ) ( max P ( S k S l > ɛ) ) P ( S k S k > ɛ). k <l k 68
for alle k, og da trekatsulighede sikrer, at max P ( S k S l > ɛ) 2 sup P ( S S l > ɛ/2) k k <l k l> k eftersom S S i sadsylighed, gælder derfor vurderige P (M k > 2ɛ) 2 P ( S k S k > ɛ) for k stor. Dvs. P (M k > 2ɛ) < og dermed ifølge det første Borel Catelli Lemma og derfor P (lim sup {M k > 2ɛ}) = 0 k lim sup k M k > 2ɛ P.o. Da ɛ > 0 var vilkårlig, betyder dette at lim sup k M k = 0 P -.o. og dermed M k (ω) 0. Alt i alt har vi altså, at for.a. ω kovergerer hvilket samme med ulighede S k (ω) S(ω) og M k (ω) 0 for k, S l (ω) S(ω) S l (ω) S kl (ω) + S kl (ω) S(ω) M kl (ω) + S kl (ω) S(ω) for l, hvor k l er bestemt ved kl < l kl, viser, da k l for l, at lim l S l (ω) = S(ω) for.a. ω. Bevis for LLN. Lad (X ) betege e følge af uafhægige idetisk fordelte stokastiske variable med edelig middelværdi µ. Vi skal vise, at X i µ P -.o. Som etop vist, fides der et relevat resultat i det kvadratisk itegrable tilfælde. Me da vi her ku forudsætter itegrabilitet, får vi brug for de såkaldte trukerigstekik, som består i at skrive de ekelte variable som e sum af to i hht. flg. ide: X = U + V, hvor U := X { X a } og V := X U = X { X >a } for et passede valg af positive reelle tal a. Da X ere er forudsat itegrable, er a = et godt valg, idet der da gælder P (V 0) = = P ( X > ) = = P ( X > ) <. = 69
Ved brug af Det første Borel-Catelli Lemma fås derfor at P ( : V i = 0 i ) = og dermed V i 0 P -.o., og da X i = U i + V i, magler vi ku at vise, at første led kovergerer P -.o. mod µ. Hertil bemærkes, at V ar(u ) E[U 2 ] = E[X 2 { X }] = E[X 2, X ], og da der fides e kostat C R +, så at fås at V ar(u )/ 2 =, x C/x for x, 2 E[ X, 2 X ]/ 2 = E[ X 2 = Ifølge LLN 3 gælder derfor, at, X / 2 ] C E[ X ] <. U i E[U i ] = (U i E[U i ]) 0 P -.o., hvoraf P -.o. kovergese følger, da E[U ] = E[X { X }] µ og dermed E[U i ] µ. ifølge Lebesgue s Sætig. L -kovergese følger ved at kombiere kovergese P -.o. med Sætig 4.8, da {X } og dermed { X i } er uiformt itegrable. Trukerigstekikke ka på ligede vis bruges til at vise flg. geeralisatio af Komogorov s Store tals lov. Bemærk at de ædrede itegrabilitetsatagelse afspejler sig i valget af trukerigskostat. 70
LLN 4 Marcikiewicz-Zygmod s Store tals lov. Lad q < 2 være givet og lad (Y ) betege e følge af uafhægige idetisk fordelte variable med edelig q te momet. Idet µ beteger de fælles middelværdi, gælder da /q (Y i µ) 0 P -.o. og i L q. Bevis. Da q = allerede er klaret, betragter vi et < q < 2, og ved at se på Y µ i stedet for Y, ka og vil vi atage, at de fælles middelværdi er lig 0. Skriv Y j = Y j + Ỹj = (Y j E[Y j ]) + Ỹj + E[Y j ] hvor Y j = Y j { Yj <j /q } og Ỹj = Y j { Yj i /q }. Ifølge Kroecker Lemma vil /q Y j 0 P -.o. hvis Y j /j /q er P -summabel. Det er derfor ok at vise, at flg. tre rækker hver for sig kovergerer P -.o. (Y j E[Y j ])/j /q, Ỹ j /j /q og E[Y j ]/j /q. Leddee i de første sum er uafhægige, cetrerede og har edelig varias. Ifølge korollaret til LLN 2 og Pythagoras er række derfor P -summabel, hvis summe af variasere er edelig, dvs. hvis E[ (Y j E[Y j ]) 2 ]/j 2/q E[Y 2 j]/j 2/q <. Me da der fides e kostat r q > 0 ku afhægig af q, så at j 2/q r q x (2/q ) for alle x > 0 fås j: j>x E[Y 2 j]/j 2/q = E[ Y 2 j: j> Y q j 2/q ] r q E[ Y 2 Y q(2/q ) ] = r q E[ Y q ] <. Kovergese af række r. to følger af Borel-Catelli Lemmaet. For da E[ Y q ] er edelig, er P (Ỹj 0) = P ( Y j j /q ) = P ( Y q j) <. Hvad agår de sidste række bemærkes først, at da Y j ere har middelværdi 0, er E[Y j ] = E[Ỹj] = E[ Y j { Yj j /q } ] = E[ Y { Y q j}], 7
dvs. vi skal vise, at E[ Y { Y q j}] j /q <. Me dette følger af, at der fides edu e kostat r q ku afhægig af q, så at og dermed j x E[ Y { Y q j}] j /q = E[ Y j /q r q x (/q ) for alle x > 0 j Y q j /q ] r q E[ Y Y q(/q ) ]. Dvs. de betragtede sum er midre ed r q E[ Y q ] og dermed edelig. P -.o.-kovergese er hermed vist. Beviset for L q -kovergese udsættes til seere. I beviset for LLN 3 beyttedes implikatioe uafhægighed ukorrellerethed dvs. orthogoalitet i L 2. I det æste resultat tages i stedet udgagspukt i ukorrellerethed. LLN 5 De store tals lov (L 2 -udgave, supplemet). Lad (X ) betege e følge af ukorrellerede kvadratisk itegrable stokastiske variable så at V ar(x )/ 2 < Sæt for ˆX = = (X i E[X i ]). Da gælder ) ˆX 0 i sadsylighed og L 2 (P ). 2) ˆX[λ ] 0 P -.o. for λ >. 3) ˆX 0 P -.o. hvis for P -.a. ω sup (X (ω) E[X ]) < eller if (X (ω) E[X ]) >. Betigelse i 3) er specielt opfyldt, hvis X ere er ikke egative og sup E[X ] <. Bevis. For emheds skyld skrives µ i stedet for E[X ]. Da (X µ ) pr. atagelse er parvis orthogoale i L 2 (P ) fås for ethvert af Pythagoras, at E[ ˆX ] 2 = 2 E[(X j µ j ) 2 ] = 2 V ar(x j ) 0, hvor kovergese følger af atagelse og Kroecker Lemmaet. Dvs. dermed også i sadsylighed, dvs. ) er vist. ˆX 0 i L 2 (P ) og 72
For ethvert λ > har vi tilsvarede, da [λ ] λ 2 [λ ], at = E[ ˆX [λ 2 ] ] = [λ ] 2 = V ar(x j ) : [λ ] j = [λ ] V ar(x j ) [λ ] 2 C λ for e kostat C λ ku afhægig af λ. Dvs. for ethvert λ > er V ar(x j )/j 2 E[ = ˆX 2 [λ ] ] < og dermed = ˆX 2 [λ ] < P -.o., hvoraf 2) følger, da leddee i e koverget række går mod 0. Ifølge 2) er P ( ˆX νk () 0 for alle k ) =, hvor ν k () = [( + k ) ] for alle, k. Kombieres dette med atagelsere gælder derfor for P -.a. ω, at lim ˆXνk ()(ω) = 0 for k samt < if j (X j (ω) µ j ) eller sup (X j (ω) µ j ) <, j og derfor som tidligere ævt, se Appediks G, at lim ˆX = 0 P -.o. Ved at udytte LLN 5 pukt 3) ka ma vise, at Kolmogorov s store tals lov stadig gælder, selvom uafhægighed erstattes med parvis uafhægighed. Me da dee geeralisatio yderst sjældet er iteressat, vil vi lade de ligge. Lad mig til slut ude bevis æve flg. supplemet til LLN 5. LLN 6 Rademacher - Mesov s Store tals lov. Lad (X ) betege e følge af ukorrellerede kvadratisk itegrable stokastiske variable. Da gælder log 2 V ar(x ) < = (X E[X ]) summabel P -.o. = og dermed specielt = log 2 2 V ar(x ) < ˆX 0 P -.o. 73
De store tals love II. Som allerede ævt adskiller ekspoete 2 sig fra adre ekspoeter. Me som vi u skal se, ka ma i det uafhægige tilfælde ved hjælp af de såkaldte symmetriserigstekik alligevel vise ligede resultater for alle ekspoeter α > 0. E væsetlig brik i teorie er flg. resultat ormalt kaldet Khichie s Ulighed: LLN 7 Khichie s Ulighed. Lad (ɛ i ) i betege e følge af uafhægige Beroulli variable, dvs. P (ɛ i = ) = P (ɛ i = ) = /2 for alle i Da fides der for alle α > 0 positive kostater c α og C α ku afhægig af α, så at c α ( b 2 j ) α/2 E[ b j ɛ j α ] C α ( for alle og alle reelle talfølger (b j ) j. b 2 j ) α/2 Bevis del I. Ifølge Jese s ulighed er α E[ b j ɛ j α ] /α voksede for ethvert og alle reelle talfølger (b ), og da 2 E[ b j ɛ j 2 ] = E[ b j ɛ j ] = b 2 j ses, at og E[ b j ɛ j α ] E[ b j ɛ j 2 ] α/2 = ( b 2 j ) α/2 for α 2 ( b 2 j ) α/2 = E[ b j ɛ j 2 ] α/2 E[ b j ɛ j α ] for α 2. ka altså bruges som C α for 0 < α 2 og som c α for α 2, og følge (b j ) j = (, 0,..., 0,... ) viser umiddelbart, at det i begge tilfælde er de optimale kostat. De resterede tilfælde er tæt forbude, for er C α bestemt for α > 2, gælder ifølge Cauchy-Schwarz s Ulighed for 0 < α < 2, at E[ b 2 j = E[ b j ɛ j 2 ] = E[ b j ɛ j 4 α ] /2 E[ som efter forkortig viser, at ( b j ɛ j 2 α/2 b j ɛ j α/2 ] b j ɛ j α ] /2 C /2 4 α ( b 2 j ) α/4 E[ b 2 j ) α/4 C /2 4 α E[ b j ɛ j α ] /2. b j ɛ j α ] /2, 74
Dvs. C 4 α ka bruges som c α i itervallet 0 < α < 2. Bestemmelse af C α for α > 2 er mere kompliceret. Specielt er bestemmelse af de optimale værdi, dvs. de midst mulige, yderst vaskeligt, og de kostat, vi u vil bestemme ved brug af teorie om betigede middelværdier, er derfor ikke optimal. Bevis del II. Lad α > 2 og være givet og lad U,..., U betege uafhægige N(0, )- fordelte stokastiske variable. Defier B i := σ({u i > 0}) i =,..., og B := σ( B i ). Ifølge regeregler for betigede middelværdier gælder for ethvert i, da U i ere er symmetriske og P (U i > 0) derfor lig /2 for alle i, at E[U i B] = E[U i B i ] = ρ ( {Ui >0} {Ui 0}) P -.o., hvor ρ = 2 E[U i, U i > 0] = 2 E[U i, U i 0] = 2/π 0 x e x2 /2 dx = 2/π. Variablee E[U B]/ρ,..., E[U B]/ρ er altså uafhægige Beroulli variable, og for ethvert valg af kostater b,..., b gælder derfor ρ α E[ b j ɛ j α ] = E[ b j E[U j B ] α ] = E[ E[ b j U j B ] α ] Dvs. E[ b j X j α ] = E[ N(0, er e mulig kostat. b 2 j ) α ] = ( b 2 j ) α/2 E[ N(0, ) α ]. C α := ρ α E[ N(0, ) α ] = π (α )/2 Γ((α + )/2) Lad mig ide vi går videre bemærke, at de etop avedte bevistekik edvidere giver flg. vurderig for ethvert valg af kostater b,..., b og t > 0. P ( N(0, )2 b i ɛ i > t) E[ exp( 4 ) ] exp( t 2 4 b2 i ) = 2 exp( t 2 4 b2 i Bevis. Lad t > 0 og b,..., b være givet og sæt s b = b2 i. Vi ka ude tab af geeralitet atage s b > 0. Idet ϕ beteger de voksede og kovekse fuktio på R + givet ved ϕ(t) = exp( t2 ) t 0 4s b gælder med samme otatio som ovefor P ( b i ɛ i > t) = P ( 75 b i E[ U i B i ] > t) ).
= P ( E[ ϕ( E[ b i U i B i ] > t) = P ( E[ b i U i B ] > t) E[ b i U i B ] )/ϕ(t) E[ ϕ(e[ E[ E[ ϕ( b i U i ) B ] ]/ϕ(t) = E[ ϕ( b i U i B ] ) ]/ϕ(t) b i U i ) ]/ϕ(t) = E[ exp( N(0, s b) 2 )] exp( t2 N(0, )2 ) = E[ exp( )] exp( t2 ). 4s b 4s b 4 4s b Flg. korollarer er umiddelbare kosekveser af Khichie s Ulighed. Korollar Lad Z,..., Z betege uafhægige symmetriske stokastiske variable. Da gælder for ethvert α > 0 E[ Z k α ] C α E[ ( Z k 2 ) α/2 ] C α β(α) E[ Z k α ], hvor C α er kostate fra Khichie s ulighed, og β(α) = (α/2 ) +, dvs. { 0 0 < α 2 β(α) = α/2 α > 2. Bevis. Lad α > 0 være givet og lad ɛ,..., ɛ betege uafhægige Beroulli variable, så at (Z,..., Z ) og (ɛ,..., ɛ ) er uafhægige. ɛ i Z i ere er da uafhægige, og da Z i ɛ i Z i, da Z i er symmetrisk, er Sættes (Z,..., Z ) (ɛ Z,..., ɛ Z ). H α (a,..., a ) = E[ ɛ k a k α ] for a,..., a R følger ved brug af Fubii s Sætig, ærmere bestemt Ua 4, at E[ Z k α ] = E[ ɛ k Z k α ] = E[H α (Z,..., Z )]. Me ifølge Khichie s Ulighed er H α (a,..., a ) C α ( E[ Z k α ] C α E[ ( a 2 k )α/2 og derfor Z k 2 ) α/2 ]. De sidste ulighed følger ved for 0 < α 2 at udytte, at x x α/2 er subadditiv og voksede på R +, og for α > 2 at beytte flg. kosekves af Jese s Ulighed ( x k ) r r x k r x,..., x R, r >. 76
Bemærkig. Nærlæses Korollar ses, at atagelse ka erstattes af de svagere, at de 2 stokastiske vektorer (±Z,..., ±Z ) alle har samme fordelig dvs. (Z,..., Z ) (±Z,..., ±Z ). Ma udtrykker ofte dette ved at sige, at Z = (Z,..., Z ) er symmetrisk i R Ved brug af Korollar 3.3 ka vi udvide oveståede til e ulighed for geerelle uafhægige variable. Kostatere C α og β(α) er de samme som i Korollar. Korollar 2 Lad Z,..., Z betege uafhægige stokastiske variable med edelig middelværdi µ k for k =,...,. Da gælder for ethvert α E[ (Z k µ k ) α ] 2 α C α E[ ( Z k µ k 2 ) α/2 ] 2 α C α β(α) E[ Z k µ k α ] og for 0 < α < E[ (Z k µ k ) α ] E[ Z k µ k α ] Bevis. Tilfældet 0 < α < er e umiddelbar kosekves af, at x x α er voksede og subadditiv på R +. Betragt derfor et α. Da de sidste ulighed her følger ligesom ovefor, behøver vi ku at se på de første. Lad Y,..., Y være e uafhægig kopi af Z,..., Z, dvs. (Y,..., Y ) og (Z,..., Z ) er uafhægige og idetisk fordelte. Da Z Y,..., Z Y derfor er uafhægige og symmetriske, fås, da Z k Y k for alle k, af Korollar samt ved brug af trekatsulighede i R, at E[ (Z k Y k ) α ] C α E[ ( = C α E[ ( 2 α C α (E[ ( Z k Y k 2 ) α/2 ] (Z k µ k ) (Y k µ k ) 2 ) α/2 ] (Z k µ k ) 2 ) α/2 ] + E[ ( = 2 α C α E[ ( ) (Y k µ k ) 2 ) α/2 ] (Z k µ k ) 2 ) α/2 ] De øskede påstad følger u af Korollar 3.3, for ifølge dette er E[ (Z k Y k ) α ] = E[ da α og (Z k µ k ) og (Z k µ k ) (Y k µ k ) α ] E[ (Z k µ k ) α ], (Y k µ k ) er uafhægige med middelværdi 0. For fuldstædighedes skyld æves edu e kosekves af Khichie s Ulighed. 77
Korollar 3 For alle p > og alle X,..., X uafhægige stokastiske variable med middelværdi 0 gælder 2 p c p E[ ( Xi 2 ) p/2 ] E[ X i p ]. Bevis. Lad p > og X,..., X være valgt. Lad edvidere a,..., a betege e følge af ±. Der gælder u E[ a i X i p ] = E[ X i X i p ] i, a i = i, a i = 2 p ( E[ i, a i = X i p ] + E[ i, a i = X i p ]) 2 p E[ X i p ], hvor sidste ulighed følger af Korollar 3.3, da i, a i = X i og i, a i = X i er uafhægige og har middelværdi 0. Ved brug af Fubii s Sætig fås u, at E[ ɛ i X i p ] 2 p E[ X i p ], hvor ɛ,..., ɛ er uafhægige Berouilli variable, som samlet er uafhægige af sættet af X i er; og da Fubii s Sætig samme med Khichie s Ulighed yderligere viser, at c p E[ ( Xj 2 ) p/2 ] E[ er det øskede resultat dermed vist. ɛ j X j p ], For at kue udvide de store tals lov til et geerelt α > 0 formuleres et L α -kovergesresultat for summer af uafhægige stokastiske variable. Da resultatet er e kosekves af Korollar 2, formuleres det som edu et korollar. C α og β(α) er som ovefor. Korollar 4 Lad (X ) betege uafhægige stokastiske variable med edelig middelværdi µ for. Da gælder for ethvert 0 < α 2, at E[ X µ α ] < = (X µ ) eksisterer i L α, = og for alle α > 2, at E[ X µ α ]/ α β(α) < = (X k µ k ) 0 i L α. Bevis. Hvad agår det første resultat, er det for at vise koverges i L α ok at vise, at afsitsfølge er e Cauchy følge i L α. Me dette følger af atagelse og Korollar 2, idet dette viser, at for 0 < α 2 er E[ m m (X k µ k ) α ] 2 α C α E[ X k µ k α ] k= 78 k=
for alle m. Ifølge Korollar 2 gælder edvidere for alle, at E[ (X k µ k ) α ] 2α C α α β(α) E[ X k µ k α ] = 2α C α α β(α) E[ X k µ k α ], hvoraf det adet resultat følger ved brug af Kroecker s lemma. Vi ka u formulere og bevise e geerel L α -versio af de store tals lov. For α < 2 er der tale om e direkte oversættelse af L 2 -udgave, hvorimod mometbetigelse er e ade for α > 2. LLN 8 De store tals lov (L α -udgave). Lad (X ) betege e følge af uafhægige stokastiske variable med edelig middelværdi µ for. Da gælder for α 2 E[ X µ α ]/ α < (X i µ i ) 0 P -.o. og i L α (P ). = og for α > 2 E[ X µ α ]/ (+α/2) < = (X i µ i ) 0 P -.o. og i L α (P ). Bevis. Lad α 2 være givet. Ifølge Korollar 4 pukt gælder E[ X µ α ]/ α < (X µ )/ koverget i L α. = = Række kovergerer derfor også P -.o. ifølge korollaret LLN 2, og Kroecker Lemmaet giver derfor, at ˆX := (X k µ k ) 0 P -.o. Da ade del i Korollar 4 sikrer, at ˆX 0 i L α er tilfældet α 2 dermed klaret. Betragt deræst et α > 2. L α -kovergese af ( ˆX ) følger ige af Korollar 4. Hvad agår kovergese P -.o. udyttes som i beviset for LLN 2, at det er ok at vise, at hvor M := ˆX 2 0 og M 0 P -.o., max ˆX k ˆX 2 ˆX 2 + k 2 <k 2 + 2 max 2 <k 2 + Hertil er det som bekedt ok at vise, at E[ ˆX 2 α ] < og = j=2 + E[M α ] <. = (X j µ j ) for. Det første følger her af Korollar 2, som viser, at der fides e kostat C ku afhægig af α, så at E[ ˆX 2 α 2 (α/2 ) 2 ] C E[ X j µ j α ] = = 2 α 79
= C E[ X j µ j α ] : 2 j E[M α ] er derfor også edelig, hvis = = 2 (α/2+) 2 C E[ X j µ j α ]/j +α/2 <. k E[ max 2α (X j µ j ) α ] <. 2 <k 2 + j=2 + Me ifølge Korollaret til Ottaviai s Ulighed er dette tilfældet, hvis = og dermed ifølge Korollar 2 hvis 2+ E[ 2α j=2 + (X j µ j ) α ] <, = 2 (α/2 ) 2 α 2 + j=2 + E[ X j µ j α ] <. Me dette er etop atagelse, da = 2 (α/2+) 2 + j=2 + E[ X j µ j α ] 2 +α/2 E[ X j µ j α ]/j +α/2 <. Symmetriserig sikrer også de postulerede me ikke viste L q -koverges i Marcikiewicz- Zygmod s Store tals lov. For lad for givet < q < 2 situatioe være som i LLN 4. Først reduceres til det symmetriske tilfælde. For hvis (Ỹj) j er e uafhægig kopi af (Y j ) j, dvs. (Y j ) j og (Ỹj) j uafhægige og (Y j ) j (Ỹj) j og dermed Y j Ỹj j og Ỹj ere uafhægige, fås af Korollar 3.3, at E[ /q Y j q ] E[ /q Y j /q Ỹ j q ] = E[ /q (Y j Ỹj) q ], da q > og E[ /q Ỹ ] = 0. Da (Y j Ỹj) j ere er uafhægige, symmetriske og idetisk fordelte, er det derfor, hvad koverges i q-middel agår, ok at betragte det symmetriske tilfælde. Vi vil derfor i det videre forløb yderligere atage, at Y i ere er symmetriske. Betragt for et givet k opsplitige Y i = U k,i + V k,i hvor U k,i := Y i { Yi k} og V k,i := Y i { Yi >k}. 80
De to følger (U k,i ) i og (V k,i ) i består begge af uafhægige, symmetriske og idetisk fordelte stokastiske variable. Ifølge Korollar 2 ovefor fides der derfor e kostat C ku afhægig af q, så at Tallet E[ /q V k,j q ] C E[ V k, q ] = C E[ Y q, Y > k] for alle. sup E[ /q V k,j q ] ka dermed gøres så lille som øsket ved at vælge k stor ok, og de øskede L q -koverges vil derfor være vist, hvis vi for givet k ka vise, at lim E[ /q U k,j q ] = lim E[ /q Y j { Yj k} q ] = 0. Da q < 2 er det ok at vise, at adet mometet går imod 0. Me dette følger af Pythagoras, for da summadere for ethvert k er uafhægige cetrede kvadratisk itegrable variable, gælder E[ /q Y j { Yj <k} 2 ] = 2/q E[Y 2 j { Yj <k}] k2 2/q 0. 8
Fordeligskoverges. I det følgede (S, d) beteger et separabelt metrisk rum. Læsere abefales at tæke på R eller delmægder heraf udstyret med de euklidiske metrik. Lad edvidere (X ) og X betege stokastiske fuktioer med værdier i S, dvs. (F, B(S))-målelige fuktioer fra Ω id i S. (Ω, F, P ) er her et sadsylighedsfelt, hvorpå alle omtalte variable tækes defieret. I aalogi med det reelle tilfælde idføres flg. kovergesbegreb. Defiitio. X X i sadsylighed hvis lim P (d(x, X) > ɛ) = 0 for ɛ > 0, dvs. hvis d(x, X) 0 i sadsylighed i R. Bemærkig. Separabilitete af S sikrer at B(S S) = B(S) B(S), og da (x, y) d(x, y) er kotiuert, er d(x, X) derfor e reel stokastisk variabel og {d(x, X) > ɛ} dermed e hædelse for ethvert og ɛ. Hvis S = R er betigelse for koverges i sadsylighed de vel kedte lim P ( X X > ɛ) = 0 for alle ɛ > 0, hvilket, som vist i Lemma 4.4, er ækvivalet med at lim E[ X X ] = 0. Dee ækvivales geeraliserer ude ædriger til det almee tilfælde, dvs. X X i sadsylighed lim E[ d(x, X) ] = 0. Ved brug heraf fås som i det reelle tilfælde flg. to kosekveser. Fk X X i sadsylighed X k X P -.o. for e delfølge ( k ) k. Bevis. Da lim E[ d(x, X) ] = 0 kovergerer d(x, X) 0 i P -middel og dermed specielt i sadsylighed. Ifølge Propositio 4.3 ka vi derfor vælge e delfølge ( k ) k, så at d(x k, X) 0 P -.o. og dermed d(x k, X) 0 P -.o. Me dette betyder etop, at X k X P -.o.. Fk 2 Lad (T, δ) betege edu et separabelt metrisk rum og lad f : S T være e kotiuert fuktio. Da gælder X X i sadsylighed f(x ) f(x) i sadsylighed Bevis. Vi skal vise lim E[ δ(f(x ), f(x)) ] = 0. Atag derfor at det ikke gælder, dvs. atag r > 0 ( k ) k : E[ δ(f(x k ), f(x)) ] > r for alle k. Me dette fører til e modstrid, da X k X i s.s. (k l ) l X kl X P -.o. f(x kl ) f(x) P -.o. δ(f(x kl ), f(x)) 0 P -.o. E[ δ(f(x kl ), f(x)) ] 0. Kotiuitete udyttes i implikatio ummer to, og da det her er ok, at f er kotiuert i X(ω) for.a. ω, ka atagelse svækkes til, at f er kotiuert P X -.o. Vi har derfor flg. skærpelse. 82
Fk 2a Lad (T, δ) betege edu et separabelt metrisk rum og lad f : S T være e Borel fuktio, som er kotiuert P X -.o. Da gælder X X i sadsylighed f(x ) f(x) i sadsylighed Specialtilfældet, hvor T = S og δ og d er ækvivalete metrikker, viser, idet de idetiske afbildig er kotiuert både som afbildig (S, d) (S, δ) og (S, δ) (S, d), at koverges i sadsylighed ikke afhæger af de eksplicit valgte metrik, blot vi holder os idefor klasse af ækvivalete metrikker. Dette udyttes f.eks. i følgede bevis. Fk 3 Idet S S udstyres med e produktmetrik gælder X X og Y Y i sadsylighed (X, Y ) (X, Y ) i sadsylighed. Bevis. følger af Fk 2, da projektiosafbildigere er kotiuerte, og fås, da d ((x, y ), (x 2, y 2 )) := d(x, y ) + d(x 2, y 2 ) er e produktmetrik, umiddelbart af ulighede d ((X, Y ), (X, Y )) d(x, X) + d(y, Y ). Sætig 4.8 og Fk 2 viser tilsamme, at der for alle f bc(s) gælder X X i sadsylighed f(x ) f(x) i sadsylighed f(x ) f(x) i L (P ) E[f(X )] E[f(X)] = f dp X. Med udgagspukt heri idføres de såkaldte koverges i fordelig i hht. flg. defiitio. Defiitio. E følge (X ) af stokastiske fuktioer med værdier i S siges at kovergere i fordelig mod µ, et Borel sadsylighedsmål på S, hvis E[f(X )] f dµ for alle f bc(s). Dette beteges i givet fald X µ. Hvis µ = PX for e stokastisk fuktio X med værdier i S skrives også X X, og ma taler om koverges i fordelig mod X. I følge de lille trasformatiossætig gælder altså, at X X E[f(X )] E[f(X)] for alle f bc(s). Oveståede overvejelser ka derfor formuleres som implikatioe. Fk 4 X X i sadsylighed X X. Græsemålet for e koverget følge er etydigt bestemt, dvs. X µ og X ν µ = ν. 83
Dette følger umiddelbart af Sætig 2., idet X µ og X ν f dµ = f dν f bc(s) µ = ν. Derimod ka vi sagtes have, at X X og X Y, selv om X og Y opfattet som afbildiger er vidt forskellige. Me deres fordelig er es, idet der gælder X X og X Y PX = P Y. Koverges i fordelig er derfor udelukkede e egeskab ved fordeligsmålee opfattet w som Borel sadsylighedsmål på S, og X X er ækvivalet med at PX PX, hvor for Borel sadsylighedsmål (µ ) og µ på S µ siges at kovergere svagt mod µ, skrives w µ µ, hvis f dµ f dµ for alle f bc(s). Det har derfor meig at tale om koverges i fordelig for variable, der ikke ødvedigvis er defierede på samme rum. Dette skal vi dog ikke udytte her, me det er vigtigt i mage sammehæge. Før vi ser ærmere på det idførte fordeligskovergesbegreb kyttes et par kommetarer til defiitioe. Da kotiuitet i metriske rum svarer til følgekotiuitet, bevares C(S) og dermed koverges i fordelig uder overgag til e ækvivalet metrik. Edvidere ses ved opsplitig i positiv og egativ del, at det er ok at eftervise defiitiosbetigelse for f bc(s) +, og da f f og f bc(s) + for f C(S) + fås af Mooto koverges, at X µ ( X ) lim if E[f(X )] f dµ ( E[f(X)] ) for alle f C(S) +. Dee implikatio ka også vedes om, idet der gælder. Fk 5 X µ lim if E[f(X )] f dµ for alle f bc(s) +. Bevis. Vi magler ku at vise, og som etop bemærket er det ok at se på ikke-egative fuktioer. Lad derfor f bc(s) + med 0 f M været givet. Da lim if E[(M f)(x )] = M lim sup E[f(X )] fås af atagelse brugt på f og M f, som begge er elemeter i bc(s) +, at lim if E[f(X )] f dµ og M lim sup E[f(X )] M f dµ, hvilket tilsamme viser, at lim E[f(X )] = f dµ. 84
Ligesom i Fk 2a ka resultatere udvides til fuktioer, som ku er kotiuerte.o. Der gælder f.eks. Fk 5a X µ E[f(X )] f dµ for ethvert f bm(b(s)), som er kotiuert µ-.o. Bevis. Ku kræver et bevis. Ved opsplitig i positiv og egativ del og deræst at se på f og M f, hvor 0 f M, idses som ovefor, at det er ok at vise lim if E[f(X )] f dµ for et givet f bm(b(s)) +, som er kotiuert µ-.o. Defier for g bm(b(s)) + og k g k (x) := if (k g(y) + k d(x, y)) x S. y S Ved brug af flg. tre uligheder, hvor x, x S, k og r > 0, ) 2) 3) g k (x) = g k (x) k g(x) + k d(x, x) = k g(x) g(x) if (k g(y) + k d(x, y)) if y b(x,r) if k g(y) y b(x,r) if y / b(x,r) (k g(y) + k d(x, y)) y / b(x,r) k d(x, y) k if y b(x,r) g(y) kr g k (x) g k ( x) sup k g(y) + k d(x, y) k g(y) k d( x, y) y S ses, at (g k ) k C(S) + og at = k sup d(x, y) d( x, y) k d(x, x) y S 0 g k g k+ g k samt g k (x) g(x), hvis g er kotiuert i x. Da f pr. atagelse er kotiuert µ-.o., kovergerer f k f µ-.o., hvor f k ere er kostrueret ud fra f, som etop beskrevet. Heraf følger derfor ved brug af Mooto koverges, at lim if E[f(X )] sup lim if E[f k (X )] = sup f k dµ = f dµ. k k 85
Kriterier for koverges i fordelig. Portmateau Sætig I. Lad (S, d) betege et separabelt metrisk rum og µ et Borel sadsylighedsmål på S samt (X ) e følge af stokastiske fuktioer med værdier i S. Idet Lip(S, d) := {f C(S) M > 0 : f(x) f(y) M d(x, y) x, y S}. er flg. udsag ækvivalete. ) X µ 2) g dµ lim if E[g(X )] for alle g blip(s, d) + S 3) µ(g) lim if P (X G) for alle G S åbe 4) µ(f ) lim sup P (X F ) for alle F S lukket. Bemærk at modsat C(S) afhæger Lip(S, d) eksplicit af metrikke d. Bevis. Da ) 2) er ideholdt i defiitioe, og ækvivalese mellem 3) og 4) følger ved overgag til komplemetær mægde, vises ku 2) 3) ). Atag 2) og lad G være e give åbe delmægde af S. Defier for k g k (x) = (k d(x, G c )) for x S. Kostruktioe viser, at g k G, og ved brug af trekatsulighede ses for k, at g k (x) g k (y) k d(x, G c ) d(x, G c ) k d(x, y) x, y S og dermed g k blip(s, d) +. Ifølge 2) og Mooto koverges gælder derfor µ(g) = sup g k dµ sup lim if E[g k (X )] lim if E[ G (X )] lim if P (X G). k k S Atag 3). Som vist i Fk 5 er det ok at vise, at for givet f bc(s) + er f dµ lim if E[f(X )]. Me for ethvert har vi og tilsvarede E[f(X )] = 0 S P (f(x ) > t) dt = f dµ = 0 0 µ(f > t) dt, P (X {f > t}) dt og da {f > t} er åbe fås de øskede ulighed af Fatou s lemma, idet 0 µ(f > t) dt 0 lim if P (f(x ) > t) dt lim if 0 P (f(x ) > t) dt 86
Til ehver Borel mægde B tilordes mægdere B := {x B ɛ > 0 : b(x, ɛ) B} og B := {x S ɛ > 0 : b(x, ɛ) B }. Dvs. B B B og B = B B åbe og B = B B lukket. B kaldes det idre af B og er de største åbe mægde ideholdt i B, og B aflukige af B og er de midste lukkede mægde, der ideholder B. bd(b) := B\B kaldes rade af B. Med dee otatio ka ækvivalese mellem ), 3) og 4) derfor formuleres som. Korollar. X µ hvis og ku hvis µ(b ) lim if P (X B) lim sup P (X B) µ(b) B B(S). Dvs. specielt: X µ lim P (X B) = µ(b) hvis µ(bd(b)) = 0. Atag at S = R. Beyttes korollaret på mægder af forme B = (, x ], fås, da B = B og B = (, x [, at X µ µ((, x [ ) lim if og dermed, da µ({x}) = µ((, x ] ) µ((, x [ ), F (x) lim sup F (x) µ((, x ] ) X µ lim F (x) = µ((, x ] ) hvis µ({x}) = 0. F er her fordeligsfuktioe for X. fordeligskoverges på R. Dette giver aledig til flg. karakterisatio af Fordeligskoverges i R. Lad (X ) betege e følge af stokastiske variable og µ et Borel sadsylighedsmål på R. Idet F er fordeligsfuktioe for X og F µ fuktioe x µ((, x ] ), er flg. pukter ækvivalete a) X µ b) F µ (x ) lim if F (x) lim sup F (x) F µ (x) x R c) lim F (x) = F µ (x) hvis F µ (x ) = F µ (x) dvs. hvis µ({x}) = 0 d) lim F (x) = F µ (x) for x D, hvor D er tæt i R e) lim if P (a < X < b) µ( ] a, b [ ) for alle < a < b <. Dvs. hvis X er e stokastisk variabel med fordeligsfuktio F, er flg. pukter ækvivalete a ) X X b ) F (x ) lim if F (x) lim sup F (x) F (x) x R c ) lim F (x) = F µ (x) hvis F (x ) = F (x) dvs. hvis P (X = x) = 0 d ) lim F (x) = F (x) for x D hvor D er tæt i R 87
e ) lim if P (a < X < b) P (a < X < b) for alle < a < b <. Bevis. Da sidste del er e umiddelbar oversættelse, vises ku første del. Her magler vi ku at vise, at d) e) a). Lad derfor a < b betege give reelle tal. Da D er tæt i R, fides der følger (a k ) k og (b k ) k af elemeter i D, så at For alle, k gælder derfor D.v.s. a < a k < b k < b og a k a og b k b. P (a < X < b) P (a k < X b k ) = F (b k ) F (a k ) F µ (b k ) F µ (a k ). lim if P (a < X < b) sup(f µ (b k ) F µ (a k )) = µ( ] a, b [ ) k og dermed d) e). For at vise de maglede implikatio lader vi G R betege e begræset åbe mægde. Som vist i Appediks F fides der højst tællelig mage parvis disjukte itervaller ( ] a i, b i [ ) i, så at G = i ]a i, b i [. Uder atagelse af e) gælder derfor lim if µ(g) = sup k j j k µ( ] a j, b j [ ) sup k P (a j < X < b j ) lim if j k P (X j Lad deræst G betege e vikårlig åbe mægde. Da fås af det etop viste lim if lim if G k := G ] k, k [ G for k P (X G) sup lim if k Implikatioe e) a) følger u af Portmateau sætige. P (a j < X < b j ) ]a j, b j [ ) lim if P (X G k ) sup µ(g k ) = µ(g). k P (X G). Det er værd at bemærke, at hvis F µ er kotiuert, dvs. hvis µ({x}) 0, gælder edvidere (se Appediks G), X µ sup F (x) F µ (x) 0, x R dvs. F ere kovergerer i dette tilfælde uiformt imod F µ. 88
Regeregler for fordeligskoverges. Portmateau Sætig II. Lad (S, d) og (T δ) betege separable metriske rum og lad (X ) og X hhv. (Y ) og Y betege stokastiske fuktioer med værdier i S hhv. T. Da gælder ) X X f(x ) f(x) for Borel fuktioer f : S T, som kotiuerte P X -.o. 2) X X og X degeereret X X i sadsylighed. 3) X X, Y Y og Y degeereret (X, Y ) (X, Y ). 4) X X, Y Y og X og Y uafhægige (X, Y ) P X P Y. E ækvivalet og ofte mere avedelig formulerig af ) og 3) lyder som flg. µ beteger her et Borel sadsylighedsmål på S. ) X µ f(x ) µ f for Borel fuktioer f : S T, som er kotiuerte µ-.o. 3) X µ, Y Y og Y degeereret (X, Y ) µ P Y. Bevis. For ethvert g bc(t ) er sammesætige g f Borel målelig og kotiuert P X -.o. Ifølge Fk 5a gælder derfor E[g(f(X ))] = E[g f(x )] g f dp X = g dp f(x), hvilket viser ). I 2) atages P (X = a) =. Da x d(x, a) bc(s) fås E[d(X, X) ] = E[d(X, a) ] E[d(X, a) ] = d(a, a) = 0, dvs. 2) er også vist. I 3) atages atter P (Y = a) =. Defier d ((x, y ), (x 2, y 2 )) := d(x, x 2 ) + δ(y, y 2 ) x, x 2 S, y, y 2 T. d er da e produktmetrik og for et vilkårligt elemet g Lip(S T, d) + gælder E[g(X, Y )] E[g(X, Y )] = E[g(X, Y )] E[g(X, a)] E[ g(x, Y ) g(x, a) ] + E[g(X, a)] E[g(X, a)] M E[δ(Y, a) ] + E[g(X, a)] E[g(X, a)] 0, hvor vi har udyttet, at x g(x, a) bc(s) og Y a i sadsylighed. Påstade følger derfor af Portmateu Sætig I. Det geerelle bevis for 4) geemgås ikke, me det vigtige specialtilfælde, hvor S = R og T = R m, behadles seere i forbidelse med Kotiuitetssætige. Det er værd at uderstrege, at 3) ikke gælder geerelt. Lad for eksempel X betege e U(, )-fordelt stokastisk variabel, dvs. X X, og sæt for alle X = Y = X og Y = X. Da gælder oplagt X X og Y Y. Hvis 3) derfor var sad ude restriktioer, ville (X, Y ) (X, Y ) og dermed ifølge 2) hvilket oplagt ikke er rigtigt. 2X = X + Y X + Y = 0, 89
Kotiuitetssætige for karakteristiske fuktioer. Fra reel aalyse vides, at e følge (x k ) k i R er koverget, hvis og ku hvis (x k ) k er begræset, og L((x k ) k ) ideholder højst et pukt, hvor, jævfør Appediks B, L((x k ) k ) beteger mægde af limespukter, dvs. L((x k ) k ) := {x R (k l ) l delfølge : x kl x}. Resultatet bygger på, at e begræset mægde B R er prekompakt, dvs. (x k ) k B L((x k ) k ). Dette geeraliserer uædret til et vilkårligt metrisk rum (S, d), idet der gælder E puktfølge (x ) i S er koverget, hvis og ku hvis mægde {x } er prekompakt, og L((x ) ) ideholder højst et pukt. Bevis. Ku hvis dele er allerede vist i Appediks B. Da (x ) er prekompakt, ideholder L((x ) ) et pukt {x}, og vi vil u vise, at x x. Atag at dette ikke gælder, dvs. r > 0 ( l ) delfølge : x l / b(x, r) for alle l. Ifølge atagelse er (x l ) l også prekompakt og har derfor midst et limespukt x. Me da L((x l ) l ) L((x ) ) må der gælde x = x, hvilket er umuligt, da d(x, x kl ) > r for alle l. Påstade er hermed vist. Med baggrud heri idføres u et prekompakthedsbegreb for koverges i fordelig for stokastiske fuktioer med værdier i et polsk rum (S, d). Me da vi i dette kursus ku ser på S = R, vil vi i det følgede udelukkede kocetrere os om dette tilfælde. Begrebets betydig og kosekveser overføres dog uædret til ethvert polsk rum. Defiitio. E familie af sadsylighedsmål {µ i i I} på (R, B(R )) siges at være stram (tight), hvis ɛ > 0, K R kompakt : sup i I µ i (K c ) < ɛ, og afledt heraf siges e familie af -dimesioale stokastiske vektorer (X i ) i I at være stram, hvis mægde af fordeligsmål {P Xi i I} udgør e stram familie, dvs. hvis ɛ > 0, K R kompakt : sup i I P (X i / K) < ɛ. Ifølge de simple struktur af de kompakte mægder i R er dette ækvivalet med ɛ > 0, r > 0 : P ( X i > r) < ɛ for alle i I. Markov s ulighed sikrer derfor flg. kriterium. Stramhed i R. Mometbetigelse. E familie (X i ) i I af -dimesioale stokastiske vektorer er stram, hvis sup E[ X i α ] < for et α > 0. i 90