Module : Lineære modeller og lineær algebra. Lineære normale modeller og lineær algebra......2 Lineær algebra...................... 6.2. Vektorer i R n................... 6.2.2 Regneregler for vektorrum........... 7.2.3 Lineære afbildninger.............. 8.2.4 Lineær uafhængighed og baser.........2.5 Lineære underrum................ 4.2.6 Det kanoniske indre produkt.......... 5
.2.7 Gram-Schmidt s ortogonaliseringsmetode.. 7.2.8 Projektion på L................. 2.2.9 Direkte sum................... 22.2. Ortogonalt komplement............ 24.2. Matrixform for projektionen.......... 27.2.2 Den flerdimensionale normalfordeling..... 29. Lineære normale modeller og lineær algebra Tæt sammenhæng mellem statistisk analyse af normalfordelingen og lineær algebra i det Euklidiske rum R n : lineære normale modeller svarer til linære underrum af R n. 2
Model : Simpel lineær regression gennem origo Y,...,Y n uafhængige, hvor Model : Y i N ( βx i,σ 2), i =,...,n. (F.eks. Y i en bils forbrug af brændstof efter x i kørte kilometer. Parameteren β svarer til bilens benzinøkonomi i liter/kilometer.) Middelværdien af vektoren Y = (Y,...,Y n ) T er en n-dimensionel vektor i R n : EY µ = EY = EY 2.. EY n 3
Men ifølge Model, er EY = EY EY 2. EY n = β x x 2. x n = βx, hvor x= (x,...,x n ) T er en kendt vektor. Dvs, µ ligger i det en-dimensionelle lineære underrum af R n, der er udspændt af vektoren x: µ L = span (x) = {µ Rn : µ = βx, β R}. Uendeligt mange linier i L (en for hver værdi af β). 4
Vælg β, så βx tættest på observerede data y = (y,...,y n ) T : projektionen af y på L. (Det er netop ˆβ, least squares estimatet for β. Vises senere.) Model 2: Simpel lineær regression Y,...,Y n uafhængige, hvor Model 2: Y i N ( α + βx i, σ 2), i =,...,n. (F.eks. Y i det atmosfæriske tryk ved højde x i kilometer over havoverfladen. Parameteren α svarer til trykket ved havoverfladen, og β svarer til forskellen i atmosfærisk tryk, når højden over havoverfladen øges med en kilometer.) 5
Ifølge Model 2, er middelværdien af vektoren Y = (Y,...,Y n ) T : EY x µ = EY = EY 2. = α. + β x 2. = α + βx, EY n x n hvor = (,...,) T, og x= (x,...,x n ) T er kendte vektorer. Dvs, vektoren af middelværdier µ ligger i det to-dimensionelle lineære underrum af R n, der er udspændt af vektorerne og x: µ L 2 = span (,x) = {µ Rn : µ = α + βx, α, β R}. Som før: uendeligt mange linier i L 2. 6
Vælg α og β, så α+βx tættest på observerede data y = (y,...,y n ) T : projektionen af y på L 2. (Det er netop ˆα og ˆβ, least squares estimater for α og β. Vises senere.).2 Lineær algebra Opfriske resultater fra lineær algebra, som skal bruges i kurset. (Fra Blæsild Appendix A3 og Leon (998).) 7
.2. Vektorer i R n Der benyttes søjlevektorer: x x =. og y = x n y. y n Basale operationer på vektorer: Sum: x + y = x + y. x n + y n Produkt med α R: αx = αx. αx n 8
Nulvektoren: =..2.2 Regneregler for vektorrum x + y = y + x α(βx) = (αβ)x x + (y + z) = (x + y) + z x+= x x = ( )x x + ( x) = x = x 9
α(x + y) = αx + αy (α + β)x = αx + βx.2.3 Lineære afbildninger En funktion f : R n R n kaldes lineær,hvis f(αx + βy) = αf(x) + βf(y) x,y R n, α, β R. Funktionen f svarer til en n n matrix A n f(x) = Ax = a ij x j j= n i= Eksempel:
Lad x= (x, x 2, x 3 ) T f (x) = 4x 2 x 3 x + 3x 2 x 3 x 3 = 4-3 - - x. Matricen A er invertibel hvis og kun hvis det(a), og så y = Ax x = A y. Den inverse til f er så f (y) = A y. Eksempel: Lad y = (y, y 2,y 3 ) T
f (y) = 4-3 - - y = -3/4 -/4 /4 -/4 - y = ( 3y + 4y 2 y 3 ) /4 (y y 3 ) /4 y 3..2.4 Lineær uafhængighed og baser Vektorerne x,...,x k er lineært uafhængige hvis β x + + β k x k = β = = β k = Ellers er x,...,x k er lineært afhængige. En basis for R n består af n lineært uafhængige vektorer i R n. Den 2
kanoniske basis for R n består af e,...,e n, hvor. e j = plads j, forj =,...,n.. Vektoren x = (x,...,x n ) kan skrives som en linearkombination af e j -erne, på entydig måde: x = n x j e j. j= 3
Lad X være en n n matrice. Den jte søjle er givet ved x j x j = Xe j =.. x nj Antag n n matricen X er invertibel med søjler x,...,x n, så er x,...,x n en basis for R n. Et vilkårligt punkt µ i R n kan opskrives i basen udspændt af søjlerne i X ved n µ = Xβ = β j x j, hvor j= β = x µ er koordinaterne til µ i basen. Specielt er β j µs j-te koordinat i basen. 4
Eksempel: Lad µ = 2 4-2 og X = 4-3 - - så er µs koordinater i basen udspændt af søjlerne i X givet ved β = β -3/4 -/4 β 2 = /4 -/4 2 4 = 3. β 3 - -2 2 så µ = 3x + x 2 + 2x 3.,.2.5 Lineære underrum Definition L R n kaldes et lineært underrum, hvis L 5
x,y L αx + βy L α, β R Span af vektorerne X,...,X k er givet ved L = span {X,...,X k } = {β X + + β k X k : β,...,β k R}. Bemærk: L er et lineært underrum med dim L k. Hvis dim L = k, dvs. x,...,x k er lineært uafhængige, så er x,...,x k en basis for L. (Husk at dim {} = og dimr n = n.) Sætning: Der findes altid en basis, x,...,x n, for R n, så L = span {x,...,x k }. 6
Bevis: Vælg x,...,x k som basis for L, og suppler den op til en basis for R n..2.6 Det kanoniske indre produkt Det kanonisk indre produkt mellem to vektorer: x T y = x y = n x i y i i= opfylder: x T y = y T x (αx + βy) T z = αx T z + βy T z x T x og x T x = x = (positiv definit egenskaben.) 7
Den kanoniske norm: x = x T x = x 2 + + x2 n x,y kaldes ortogonale, hvis x T y = En basis x,...,x k for L, kaldes ortogonal, hvis x T i x j =, i j En ortogonal basis kaldes ortonormal, hvis yderligere x i =, i. Bemærk: Den kanoniske basis for R n er ortonormal mht. det kanonisk indre produkt. Sætning (Pythagoras): x T y = x + y 2 = x 2 + y 2. 8
.2.7 Gram-Schmidt s ortogonaliseringsmetode Lad x,...,x k være en basis for L. En ortogonal basis e,...,e k for L kan findes:. e = x 2. For i = 2,...,k : e i = x i i j= x T i e j e j 2e j. Bemærk: For hvert skridt i algoritmen gælder span{e,...,e i } = span{x,...,x i }. Antag x,...,x n er en basis for R n, valgt så x,...,x k er en basis for L. Så er e,...,e n en ortogonal basis for R n og e,...,e k er en ortogonal basis for L. 9
Metoden kan også bruges hvis x,...,x k ikke er en basis, hvis summen i 2. modificeres til at undlade led hvor e i =. De resterende e j -er udgør da en ortogonal basis. Eksempel: Søjlerne x =,x 2 = og x 3 = 3, 2
udspænder et lineært underrum af R 4. De kan ortogonaliseres som følger: e =, e 2 = 3 3 = e 3 = 3 4 3 = -/3 5/3. 2
.2.8 Projektion på L Lad e,...,e k være en ortogonal basis for L. Projektionen på L, p L : R n L er: k x T e i p L (x) = e i 2e i. Fra Pythagoras fås i= Egenskaber: p L (x) 2 = k i= (x T e i ) 2 e i 2, for x Rn.. x p L (x) 2 x y 2, y L 2. (x p L (x)) T z =, z L 3. p L (x) = x, hvis x L 22
Bevis: (bemærk rækkefølgen) 2. Da z span{e,...,e k } er det nok at tage z = e j, så (x p L (x)) T e j =. Fra 2. og Pythagoras fås: 3. Lad y = x i. ( ) T x xt e e 2e xt e k e k 2e k e j = x T e j x T e j e T j e j e j 2 = x y 2 = x p L (x) + p L (x) y 2 = x p L (x) 2 + p L (x) y 2 x p L (x) 2 23
Bemærk: Fra beviset for. med y =, følger den nyttige formel: x p L (x) 2 = x 2 p L (x) 2..2.9 Direkte sum Lad L,M være underrum af R n. Summen af L og M: L + M = {x + y : x L,y M} L og M (indbyrdes) ortogonale (skrives L M) hvis: x T y = x L,y M Antag L og M ortogonale. Summen af L og M kaldes en direkte (ortogonal) sum og skrives L M ( L direkte sum M ). Der gælder: dim(l M) = diml + dimm 24
Bemærk: En vektor x L M kan skrives på entydig måde som x = y + z, hvor y L,z M. Lad L,...,L k være ortogonale underrum af R n. Den ortogonale sum er: L = L L k hvis L i L j i,j. Der gælder:. dim L = dim L + + dim L k 2. p L (x) = p L (x) + + p Lk (x) 3. p L (x) 2 = p L (x) 2 + + p Lk (x) 2 Bemærk: En vektor y L kan skrives på entydig m åde som y = y + + y k, hvor y i L i, for i =,...,k. 25
Bevis for 2.: Vælg en ortonormal basis e,...,e l, hvor l = dim L + +dim L k, så e,...,e diml udspænder L, e diml +,...,e dim L2 udspænder L 2, osv. Så er l p L (x) = (x T e i )e i, og p Lj (x) = i= diml j+ i=diml j + (x T e i )e i..2. Ortogonalt komplement Definition 2 Det ortogonale komplement til L defineres ved L = { x R n : x T y =, y L } 26
For L M defineres det ortogonale komplement til L inden for M ved M L = M L = { x M : x T y =, y L } kaldes direkte differens. Bemærk: L = R n L, så R n kan opsplittes som: R n = L L = L (R n L). Lad L 2 L være underrum. L kan skrives som L = L 2 (L L 2 ). Der gælder (Bevis: Opgave 2.2.): dim(l L 2 ) = dim(l ) dim(l 2 ) 27
p L L 2 (x) = p L (x) p L2 (x) p L (x) p L2 (x) 2 = p L (x) 2 p L2 (x) 2 p L2 (p L (x)) = p L2 (x). Bemærk: L har dimension dim ( L ) = n k. Projektionen på L er den entydinge lineære afbildning, så p L (x) = x for alle x L p L (x) = for alle x L 28
.2. Matrixform for projektionen Lad L være udspændt af søjlerne i X n k = [x,...,x k ]. Antag at X har fuld rang. For givet y R, lad p L (y) = X β vektor i L. k. Så er y Xβ ortogonal på enhver Specielt gælder: x j (y Xβ) = j. Stables disse k ligninger, fås X (y Xβ) = 29
eller X y }{{} k = X}{{ X} β. k k k Da X har fuld rang er X X invertibel, så løsningen ˆβ er Dermed er så projektionsmatricen for L er Bemærk: ˆβ = (X X) X y p L (y) = X ˆβ = X(X X) X y, H = X(X X) X. Matricen H er symmetrisk, dvs. H = H, og idempotent, dvs. HH = H (vises let). 3
Matricen I H er projektionsmatricen for L, da p L (y) = y p L (y) = Iy Hy = (I H)y. Matricen I H er symmetrisk og idempotent: (I H) = I H og (I H) 2 = I H..2.2 Den flerdimensionale normalfordeling Antag at ε er en stokastisk vektor med komponenter ε,...,ε n som er uafhængige N(, ). For k < n, lad Y = µ + A ε, k k k nn 3
så siges Y at være multivariat normalfordelt N k (µ,σ), hvor µ = EY Σ = Cov(Y)=AA Bemærk: VarY i = Σ ii. Hvis A (og dermed Σ) har fuld rang, siges Y at være regulær. Ellers siges Y at være singulær. Bemærk: Kovariansmatricen Σ er ikke-negativ definit. Dvs: x Σx, x Hvis Σ har fuld rang, så er Σ positiv definit. Dvs, x Σx = hvis og kun hvis x =. 32
Transformation: Lad Z = B Y + c r k r = Bµ + c + BAε, så er Z N r (Bµ + c,bσb ). 33