Den flerdimensionale normalfordeling

Transkript

1 De flerdimesioale ormalfordelig Stokastiske vektorer Ved e stokastisk vektor skal vi forstå e vektor, hvor de ekelte kompoeter er sædvalige stokastiske variable. For de stokastiske vektor Y = Y,..., Y ) defierer vi middelværdivektore som E Y = E Y,..., E Y ). I sammehæg med matricer vil vi opfatte Y og E Y som søjlevektorer. Lad os betragte to stokastiske vektorer X = X,..., X m ) og Y = Y,..., Y ). Alle kovariaser mellem X s kompoeter og Y s kompoeter ka aturligt samles i e m matrix, de såkaldte kovariasmatrix: Cov X, Y ) = {Cov X i, Y j )} = {E X i E X i )Y j E Y j )} = E X E X)Y E Y ). I det sidste udtryk skal vi ved middelværdie af e matrix aturligvis forstå matrice beståede af alle elemeteres middelværdier. Sætter vi X = Y i Cov X, Y ), får vi de såkaldte variasmatrix for Y også kaldet varias-kovariasmatrix, kovariasmatrix, dispersiosmatrix): Var Y ) = Cov Y, Y ) = {Cov Y i, Y j )}. Bemærk, at Var Y ) har Var Y i ), i =,...,, i hoveddiagoale. Bemærk edvidere, at Var Y ) er symmetrisk, da Cov Y i, Y j ) = Cov Y j, Y i ). At to stokastiske vektorer er uafhægige, betyder at e vilkårlig kompoet i de ee vektor er uafhægig af e vilkårlig kompoet i de ade vektor. To forskellige kompoeter i samme vektor ka være afhægige eller uafhægige.) Bemærk, at X, Y uafhægige Cov X, Y ) =. Lad os betragte e lieær trasformatio T af de stokastiske vektor Y repræseteret af matrice A, dvs. T : R R m, T Y ) = AY. Da middelværdioperatore er lieær, har vi umiddelbart, at E AY = A E Y. For variasmatrice får vi, at Var AY ) = E AY AE Y )AY AE Y ) = E AY E Y )Y E Y ) A = A E Y E Y )Y E Y ) A = A Var Y ) A.

2 Var AY ) er altså e m m matrix. Betragter vi specielt e liearkombiatio af Y s kompoeter a Y +...+a Y, der kort ka skrives a Y, får vi E a Y = a E Y og Var a Y ) = a Var Y ) a. Var a Y ) er et reelt tal matrix). E ortogoal trasformatio er e lieær trasformatio, der repræseteres af e ortogoal matrix, dvs. e matrix hvor søjlevektorere er ortoormerede. For e såda matrix gælder, at systemet af rækkevektorer ligeledes er ortoormeret, at de iverse matrix er lig de traspoerede, og at de tilhørede determiat atager værdie eller. Lad Z = CY defiere e ortogoal trasformatio. C er altså e ortogoal matrix. Der gælder, at i Z 2 i = Z Z = CY ) CY = Y C CY = Y Y = i Y 2 i, dvs. kvadratsumme af e stokastisk vektors kompoeter er ivariat over for ortogoaltrasformatio. Betragt u e stokastisk kvadratisk form Y AY, hvor E Y = µ og Var Y ) = Σ. Middelværdie af Y AY udreges: E Y AY = E a ij Y i Y j = a ij E Y i Y j = a ij Cov Y i, Y j ) + E Y i E Y j ) = a ij σ ij + a ij µ i µ j = a ij σ ji + µ Aµ = AΣ) ii + µ Aµ i = tr AΣ + µ Aµ Når Var Y ) = σ 2 I forekles udtrykket til og år yderligere E Y = 0 til E Y AY = σ 2 tr A + µ Aµ, E Y AY = σ 2 tr A. De mometfrembrigede fuktio hørede til e stokastisk vektor defieres som M Y t,..., t ) = E expt Y ). De traditioelle betegelse, e mere præcis betegelse ville være ortoormal matrix. 2

3 fte skrives M Y t) som e forkortelse for M Y t,..., t ). De sædvalige egeskaber ved mometfrembrigede fuktio har også gyldighed her, dvs. M AY +b t) = expt b)m Y A t), og for X og Y uafhægige jf. opgave 4 og 5. M X+Y t) = M X t)m Y t), 2 De flerdimesioale ormalfordelig E stokastisk vektor Y = Y,..., Y ) siges, at være -dimesioal ormalfordelt, år Y,..., Y har de simultae tæthed f Y y,..., y ) = 2π) 2 det Σ) 2 exp ) 2 y µ) Σ y µ), hvor µ R og Σ R. µ ka vælges vilkårligt, mes Σ skal være e positiv defiit matrix 2. At Y er -dimesioal ormalfordelt med parametree µ og Σ, skrives kort Y N µ, Σ). Vi vil først vise, at vi ved e passede affi trasformatio af Y ka opå, at kompoetere i de trasformerede stokastiske vektor er uafhægige og stadardiserede ormalfordelte. Sæt Y = Σ 2 X + µ se opgave 7, 8 og 9 vedr. Σ 2 ). Jacobidetermiate hørede til dee trasformatio ses umiddelbart at være det Σ 2. Tæthedsfuktioe for X bliver derfor f X x,..., x ) = 2π) 2 det Σ) 2 exp ) det 2 x Σ 2 Σ Σ 2 x Σ 2 = 2π) 2 exp ) ) 2 x x = 2π) 2 exp 2 x i 2 = i= 2π e x i 2 2, hvoraf ses, at X i N0, ), i =,...,, og at X i ere er uafhægige. 2 E symmetrisk matrix er positiv defiit, år x R \{0} : x Ax > 0. A er positiv semidefiit, år x R \{0} : x Ax 0, og der fides midst) et x 0, så x Ax = 0. Aalogt defieres egativ defiit og egativ semidefiit. 3 i=

4 Herefter ka vi let udrege E Y og Var Y ): E Y = Σ 2 E X + µ = Σ µ = µ, Var Y ) = Σ 2 Var X) Σ 2 ) = Σ 2 I Σ 2 = Σ. Parametree µ og Σ er altså heholdsvis middelværdivektor og variasmatrix for Y. De mometfrembrigede fuktio for Y ka vi bestemme ved følgede udregiger, hvor vi ige beytter trasformatioe Y = Σ 2 X + µ: M Y t) = E expt Y ) = expt y)2π) 2 det Σ) 2 exp ) R 2 y µ) Σ y µ) dω = expt Σ 2 x + µ))2π) 2 exp ) R 2 x x dω = expt µ) 2π) 2 exp ) R 2 x x 2t Σ 2 x) dω = exp t µ + ) 2 t Σt 2π) 2 exp ) R 2 x x 2t Σ 2 x + t Σt) dω = exp t µ + ) 2 t Σt 2π) 2 exp ) R 2 x Σ 2 t) x Σ 2 t) dω = exp t µ + ) 2 t Σt, idet fuktioe uder det sidste itegralteg ses at være tæthedsfuktioe for e -dimesioal ormalfordelig med middelværdivektor Σ 2 t og variasmatrix I. I stedet for at defiere de flerdimesioale ormalfordelig ud fra tæthedsfuktioe ka vi beytte følgede alterative defiitio: Y er -dimesioal ormalfordelt, år og ku år der for alle l 0 gælder, at l Y er edimesioal) ormalfordelt. Beytter vi symbolere µ og Σ som ovefor, skal der altså gælde at l Y Nl µ, l Σ l). I dee defiitio ka vi umiddelbart medtage det sigulære tilfælde, hvor Σ ku er positiv semidefiit svarede til, at der fides midst) et l 0, så l Σ l = 0. I det sigulære tilfælde vil der altså optræde liearkombiatioer) l Y med varias 0. Fra tidligere keder vi de mometfrembrigede fuktio for e ormalfordelt stokastisk variabel X Nµ, σ 2 ). Der gælder M X t) = e µt+ 2 σ2 t 2. Følgelig har vi M l Y t) = exp l µt + 2 l Σ lt 2 ). 4

5 Ved beyttelse af mometfrembrigede fuktioer ka det let eftervises, at de to forskellige defiitioer på flerdimesioal ormalfordelig er ækvivalete, år der ses bort fra det sigulære tilfælde, se opgave. De flerdimesioale ormlfordelig 3 Egeskaber ved ormalfordelte stokastiske vektorer Lad os betragte e affi trasformatio AY +b af Y N µ, Σ), hvor Σ er positiv defiit, og hvor A er q med rag A = q. Der gælder l 0 : l AY + b) = l A)Y + l b Nl A)µ + l b, l A)Σl A) ) = Nl Aµ + b), l AΣA l), som viser, at AY +b N q Aµ+b, AΣA ), idet AΣA er positiv defiit, jf. opgave 2. Heraf følger, at e vilkårlig liearkombiatio a Y af Y s kompoeter er ormalfordelt. Ved et passede valg af A ka vi udtage e vilkårlig delvektor af Y. Alle delvektorer af Y, heruder også de ekelte kompoeter, er altså ormalfordelte. For edimesioale ormalfordelte variable gælder, at uafhægighed er esbetydede med, at de variable er ukorrelerede. Betragter vi to ormalfordelte stokastiske vektorer Y N µ, Σ ) og Y 2 N 2 µ 2, Σ 2 ), vil vi tilsvarede vise, at uafhægighed mellem Y og Y 2 er esbetydede med, at Cov Y, Y 2 ) =. Det gælder geerelt, at uafhægighed mellem stokastiske vektorer medfører, at de er ukorrelerede, jf. afsit. Atager vi omvedt, at Cov Y, Y 2 ) =, bliver variasmatrice Σ for de stokastiske vektor Y = Y, Y 2 ) Σ Σ =, Σ 2 hvor Σ og Σ 2 er variasmatricere for heholdsvis Y og Y 2. Heraf følger, at Σ = Σ 5 Σ 2.

6 Bemærk, at y µ) Σ y µ y µ) = Σ y 2 µ 2 For Y s tæthedsfuktio får vi derfor, at f Y y,..., y, y 2,..., y 22 ) Σ 2 y µ y 2 µ 2 = y µ ) Σ y µ ) + y 2 µ 2 ) Σ 2 y 2 µ 2 ) = h y ) + h 2 y 2 ). = 2π) det Σ det Σ 2 ) 2 exp 2 h y ) + h 2 y 2 )) ) = 2π) 2 det Σ ) 2 exp 2 h y ) ) 2π) 2 2 det Σ2 ) 2 exp 2 h 2y 2 ) ) = f Y y,..., y )f Y 2 y 2,..., y 22 ), hvoraf det ses, at Y og Y 2 er uafhægige. Hvis vi betragter to lieære trasformatioer af samme vektor Y, A Y og A 2 Y, hvor A og A 2 har fuld rag, ses umiddelbart, at uafhægighed mellem A Y og A 2 Y er esbetydede med at A ΣA 2 =, idet Cov A Y, A 2 Y ) = A Cov Y, Y ) A 2 = A ΣA 2 =. Bemærk, at med A ΣA 2 = er systemet af rækker i A ortogoalt på systemet af rækker i A 2 med hesy til det idre produkt u, v = u A Σv. Matrice A = har derfor fuld rag, dvs. rag A = rag A + rag A 2. Specielt gælder, at to liearkombiatioer af Y s kompoeter, a Y og a 2 Y, er uafhægige, år og ku år Cov a Y, a 2 Y ) = 0 a Σa 2 = 0. Et vigtigt resultat er, at hvilket let eftervises, se opgave 4. Y µ) Σ Y µ) χ 2 ), Lad os til slut vise, at de stokastiske variable Ȳ = i= Y i og S 2 = i= Y i Ȳ )2, hvor Ȳ og S2 er baseret på e ormalfordelt stikprøve med middelværdi µ og varias σ 2, er uafhægige. Bemærk, at Y N µ, σ 2 I). Når Z er e ortogoal trasformatio af Y, dvs. Z = CY med C ortogoal, får vi Kompoetere i Z er altså uafhægige. Z N µc, σ 2 CIC ) = N µc, σ 2 I). 6 A 2

7 Beytter vi specielt e ortogoal matrix, der har vektore,..., ) som første rækkevektor, får vi og Z =... Y = Y i = Ȳ Ȳ = Z i )S 2 = i Y i Ȳ )2 = i Y 2 i Ȳ 2 = i ) 2 Zi 2 Z = Z Z 2 S 2 = ) Z Z 2, hvoraf det umiddelbart fremgår, at Ȳ og S2 er uafhægige. 4 E betiget fordelig Lad Y N µ, Σ), og betragt delvektoree Y med kompoeter og Y 2 med 2 kompoeter, + 2 =. Y og Y 2 er begge ormalfordelte og i almidelighed afhægige. Vi ka skrive ) Σ Σ Y, Y 2 ) N + 2 µ, µ 2 ), 2, Σ 2 Σ 22 hvor betydige af de beyttede betegelser er åbebar, fx står Σ 2 for Cov Y, Y 2 ). Idfør Z = Y 2 Σ 2 Σ Y, og betragt de stokastiske vektor Y, Z), der fremkommer som e lieær trasformatio af Y, Y 2 ). Trasformatioe er repræse- teret ved matrice I Σ 2 Σ I 2 Ved udregig, jf. opgave 6, får vi, at, som er og regulær. Σ Var Y, Z)) = der viser, at Y og Z er uafhægige. Σ 22 Σ 2 Σ Σ 2 For Var Z) beyttes som regel betegelse Σ 22, altså Bemærk, at Σ 22 = Σ 22 Σ 2 Σ Σ 2., E Z = E Y 2 Σ 2 Σ E Y = µ 2 Σ 2 Σ µ, hvorefter vi ka agive Z s fordelig som Z N 2 µ2 Σ 2 Σ µ, Σ 22 ). 7

8 Fra idførelse af Z har vi, at og ved at betige med Y = y, får vi Y 2 = Z + Σ 2 Σ Y, Y 2 y = Z + Σ 2 Σ y, idet Y og Z er uafhægige. Middelværdivektor og variasmatrix for Y 2 y bliver Fordelige af Y 2 y er altså E Y 2 y = µ 2 + Σ 2 Σ y µ ), Var Y 2 y ) = Var Z) = Σ 22. Y 2 y N 2 µ2 + Σ 2 Σ y µ ), Σ 22 ). 5 pgaver. Vis, at Cov X, Y ) = E XY E X E Y. 2. Vis, at Cov AX, BY ) = A Cov X, Y ) B. 3. Vis, at Var Y + b) = Var Y ). 4. Vis, at M AY +b t) = expt b)m Y A t). 5. Vis, at X og Y uafhægige M X+Y t) = M X t)m Y t). 6. Lad C være e ortogoal matrix, dvs. der gælder C C = I. Vis, at systemet af rækkevektorer i C er ortoormeret, at C = C, og at det C = ±. Vis edvidere, at produktet af to ortogoale matricer giver e ortogoal matrix. 7. Lad A være e symmetrisk matrix. Vis, at A er positiv defiit, år og ku år alle A s egeværdier er positive. Vik: Betragt e ortogoal substitutio x = Cy, hvor matrice C diagoaliserer A, dvs. C AC = Λ = λ... λ, og vis, at x Ax = i λ iyi Lad A være e positiv defiit matrix, og lad C være e ortogoal matrix, som diagoaliserer A til Λ. Bestem først e matrix Λ 2, så Λ 2 ) 2 = Λ, og deræst e matrix A 2, så A 2 ) 2 = A. 9. Vis, at det Σ 2 = det Σ) 2. 8

9 0. Kotroller at f Y er e tæthedsfuktio, dvs. at R f Y y,..., y )dv =. Vik: Beyt tæthedsfuktioe f X x,..., x ) for de trasformerede stokastiske vektor X.. Vis ved beyttelse af mometfrembrigede fuktioer, at de to defiitioer på flerdimesioal ormalfordelig er ækvivalete, dvs. at defiitio defiitio 2, og at defiitio 2 defiitio. Der ses bort fra det sigulære tilfælde.) 2. Vis, at år A er positiv defiit, og år C er p med rag C = p, så er CAC positiv defiit. 3. Eftervis, at u Σv, hvor Σ er positiv defiit, defierer et idre produkt. 4. Vis, at Y µ) Σ Y µ) χ 2 ). Vik: Beyt trasformatioe Y = Σ 2 X + µ. 5. Lad Y,..., Y være e stikprøve i e ormalfordelt populatio. Giv et bevis for, at S 2 σ2 χ2 ). Vik: Betragt først X = Y µ) og deræst σ U = CX med samme C som i slutige af afsit Eftervis, at Y og Z defieret som i afsit 4 er uafhægige. Vik: Husk, at VarAY )=AVarY )A Bo Rosbjerg 9