Module 1: Lineære modeller og lineær algebra

Transkript

1 Module : Lineære modeller og lineær algebra. Lineære normale modeller og lineær algebra Lineær algebra Vektorer i R n Regneregler for vektorrum Lineære afbildninger Lineær uafhængighed og baser Lineære underrum Det kanoniske indre produkt

2 .2.7 Gram-Schmidt s ortogonaliseringsmetode Projektion på L Direkte sum Ortogonalt komplement Matrixform for projektionen Den flerdimensionale normalfordeling Lineære normale modeller og lineær algebra Tæt sammenhæng mellem statistisk analyse af normalfordelingen og lineær algebra i det Euklidiske rum R n : lineære normale modeller svarer til linære underrum af R n. 2

3 Model : Simpel lineær regression gennem origo Y,...,Y n uafhængige, hvor Model : Y i N ( βx i,σ 2), i =,...,n. (F.eks. Y i en bils forbrug af brændstof efter x i kørte kilometer. Parameteren β svarer til bilens benzinøkonomi i liter/kilometer.) Middelværdien af vektoren Y = (Y,...,Y n ) T er en n-dimensionel vektor i R n : EY µ = EY = EY 2.. EY n 3

4 Men ifølge Model, er EY = EY EY 2. EY n = β x x 2. x n = βx, hvor x= (x,...,x n ) T er en kendt vektor. Dvs, µ ligger i det en-dimensionelle lineære underrum af R n, der er udspændt af vektoren x: µ L = span (x) = {µ Rn : µ = βx, β R}. Uendeligt mange linier i L (en for hver værdi af β). 4

5 Vælg β, så βx tættest på observerede data y = (y,...,y n ) T : projektionen af y på L. (Det er netop ˆβ, least squares estimatet for β. Vises senere.) Model 2: Simpel lineær regression Y,...,Y n uafhængige, hvor Model 2: Y i N ( α + βx i, σ 2), i =,...,n. (F.eks. Y i det atmosfæriske tryk ved højde x i kilometer over havoverfladen. Parameteren α svarer til trykket ved havoverfladen, og β svarer til forskellen i atmosfærisk tryk, når højden over havoverfladen øges med en kilometer.) 5

6 Ifølge Model 2, er middelværdien af vektoren Y = (Y,...,Y n ) T : EY x µ = EY = EY 2. = α. + β x 2. = α + βx, EY n x n hvor = (,...,) T, og x= (x,...,x n ) T er kendte vektorer. Dvs, vektoren af middelværdier µ ligger i det to-dimensionelle lineære underrum af R n, der er udspændt af vektorerne og x: µ L 2 = span (,x) = {µ Rn : µ = α + βx, α, β R}. Som før: uendeligt mange linier i L 2. 6

7 Vælg α og β, så α+βx tættest på observerede data y = (y,...,y n ) T : projektionen af y på L 2. (Det er netop ˆα og ˆβ, least squares estimater for α og β. Vises senere.).2 Lineær algebra Opfriske resultater fra lineær algebra, som skal bruges i kurset. (Fra Blæsild Appendix A3 og Leon (998).) 7

8 .2. Vektorer i R n Der benyttes søjlevektorer: x x =. og y = x n y. y n Basale operationer på vektorer: Sum: x + y = x + y. x n + y n Produkt med α R: αx = αx. αx n 8

9 Nulvektoren: =..2.2 Regneregler for vektorrum x + y = y + x α(βx) = (αβ)x x + (y + z) = (x + y) + z x+= x x = ( )x x + ( x) = x = x 9

10 α(x + y) = αx + αy (α + β)x = αx + βx.2.3 Lineære afbildninger En funktion f : R n R n kaldes lineær,hvis f(αx + βy) = αf(x) + βf(y) x,y R n, α, β R. Funktionen f svarer til en n n matrix A n f(x) = Ax = a ij x j j= n i= Eksempel:

11 Lad x= (x, x 2, x 3 ) T f (x) = 4x 2 x 3 x + 3x 2 x 3 x 3 = x. Matricen A er invertibel hvis og kun hvis det(a), og så y = Ax x = A y. Den inverse til f er så f (y) = A y. Eksempel: Lad y = (y, y 2,y 3 ) T

12 f (y) = y = -3/4 -/4 /4 -/4 - y = ( 3y + 4y 2 y 3 ) /4 (y y 3 ) /4 y Lineær uafhængighed og baser Vektorerne x,...,x k er lineært uafhængige hvis β x + + β k x k = β = = β k = Ellers er x,...,x k er lineært afhængige. En basis for R n består af n lineært uafhængige vektorer i R n. Den 2

13 kanoniske basis for R n består af e,...,e n, hvor. e j = plads j, forj =,...,n.. Vektoren x = (x,...,x n ) kan skrives som en linearkombination af e j -erne, på entydig måde: x = n x j e j. j= 3

14 Lad X være en n n matrice. Den jte søjle er givet ved x j x j = Xe j =.. x nj Antag n n matricen X er invertibel med søjler x,...,x n, så er x,...,x n en basis for R n. Et vilkårligt punkt µ i R n kan opskrives i basen udspændt af søjlerne i X ved n µ = Xβ = β j x j, hvor j= β = x µ er koordinaterne til µ i basen. Specielt er β j µs j-te koordinat i basen. 4

15 Eksempel: Lad µ = og X = så er µs koordinater i basen udspændt af søjlerne i X givet ved β = β -3/4 -/4 β 2 = /4 -/4 2 4 = 3. β så µ = 3x + x 2 + 2x 3.,.2.5 Lineære underrum Definition L R n kaldes et lineært underrum, hvis L 5

16 x,y L αx + βy L α, β R Span af vektorerne X,...,X k er givet ved L = span {X,...,X k } = {β X + + β k X k : β,...,β k R}. Bemærk: L er et lineært underrum med dim L k. Hvis dim L = k, dvs. x,...,x k er lineært uafhængige, så er x,...,x k en basis for L. (Husk at dim {} = og dimr n = n.) Sætning: Der findes altid en basis, x,...,x n, for R n, så L = span {x,...,x k }. 6

17 Bevis: Vælg x,...,x k som basis for L, og suppler den op til en basis for R n..2.6 Det kanoniske indre produkt Det kanonisk indre produkt mellem to vektorer: x T y = x y = n x i y i i= opfylder: x T y = y T x (αx + βy) T z = αx T z + βy T z x T x og x T x = x = (positiv definit egenskaben.) 7

18 Den kanoniske norm: x = x T x = x x2 n x,y kaldes ortogonale, hvis x T y = En basis x,...,x k for L, kaldes ortogonal, hvis x T i x j =, i j En ortogonal basis kaldes ortonormal, hvis yderligere x i =, i. Bemærk: Den kanoniske basis for R n er ortonormal mht. det kanonisk indre produkt. Sætning (Pythagoras): x T y = x + y 2 = x 2 + y 2. 8

19 .2.7 Gram-Schmidt s ortogonaliseringsmetode Lad x,...,x k være en basis for L. En ortogonal basis e,...,e k for L kan findes:. e = x 2. For i = 2,...,k : e i = x i i j= x T i e j e j 2e j. Bemærk: For hvert skridt i algoritmen gælder span{e,...,e i } = span{x,...,x i }. Antag x,...,x n er en basis for R n, valgt så x,...,x k er en basis for L. Så er e,...,e n en ortogonal basis for R n og e,...,e k er en ortogonal basis for L. 9

20 Metoden kan også bruges hvis x,...,x k ikke er en basis, hvis summen i 2. modificeres til at undlade led hvor e i =. De resterende e j -er udgør da en ortogonal basis. Eksempel: Søjlerne x =,x 2 = og x 3 = 3, 2

21 udspænder et lineært underrum af R 4. De kan ortogonaliseres som følger: e =, e 2 = 3 3 = e 3 = = -/3 5/3. 2

22 .2.8 Projektion på L Lad e,...,e k være en ortogonal basis for L. Projektionen på L, p L : R n L er: k x T e i p L (x) = e i 2e i. Fra Pythagoras fås i= Egenskaber: p L (x) 2 = k i= (x T e i ) 2 e i 2, for x Rn.. x p L (x) 2 x y 2, y L 2. (x p L (x)) T z =, z L 3. p L (x) = x, hvis x L 22

23 Bevis: (bemærk rækkefølgen) 2. Da z span{e,...,e k } er det nok at tage z = e j, så (x p L (x)) T e j =. Fra 2. og Pythagoras fås: 3. Lad y = x i. ( ) T x xt e e 2e xt e k e k 2e k e j = x T e j x T e j e T j e j e j 2 = x y 2 = x p L (x) + p L (x) y 2 = x p L (x) 2 + p L (x) y 2 x p L (x) 2 23

24 Bemærk: Fra beviset for. med y =, følger den nyttige formel: x p L (x) 2 = x 2 p L (x) Direkte sum Lad L,M være underrum af R n. Summen af L og M: L + M = {x + y : x L,y M} L og M (indbyrdes) ortogonale (skrives L M) hvis: x T y = x L,y M Antag L og M ortogonale. Summen af L og M kaldes en direkte (ortogonal) sum og skrives L M ( L direkte sum M ). Der gælder: dim(l M) = diml + dimm 24

25 Bemærk: En vektor x L M kan skrives på entydig måde som x = y + z, hvor y L,z M. Lad L,...,L k være ortogonale underrum af R n. Den ortogonale sum er: L = L L k hvis L i L j i,j. Der gælder:. dim L = dim L + + dim L k 2. p L (x) = p L (x) + + p Lk (x) 3. p L (x) 2 = p L (x) p Lk (x) 2 Bemærk: En vektor y L kan skrives på entydig m åde som y = y + + y k, hvor y i L i, for i =,...,k. 25

26 Bevis for 2.: Vælg en ortonormal basis e,...,e l, hvor l = dim L + +dim L k, så e,...,e diml udspænder L, e diml +,...,e dim L2 udspænder L 2, osv. Så er l p L (x) = (x T e i )e i, og p Lj (x) = i= diml j+ i=diml j + (x T e i )e i..2. Ortogonalt komplement Definition 2 Det ortogonale komplement til L defineres ved L = { x R n : x T y =, y L } 26

27 For L M defineres det ortogonale komplement til L inden for M ved M L = M L = { x M : x T y =, y L } kaldes direkte differens. Bemærk: L = R n L, så R n kan opsplittes som: R n = L L = L (R n L). Lad L 2 L være underrum. L kan skrives som L = L 2 (L L 2 ). Der gælder (Bevis: Opgave 2.2.): dim(l L 2 ) = dim(l ) dim(l 2 ) 27

28 p L L 2 (x) = p L (x) p L2 (x) p L (x) p L2 (x) 2 = p L (x) 2 p L2 (x) 2 p L2 (p L (x)) = p L2 (x). Bemærk: L har dimension dim ( L ) = n k. Projektionen på L er den entydinge lineære afbildning, så p L (x) = x for alle x L p L (x) = for alle x L 28

29 .2. Matrixform for projektionen Lad L være udspændt af søjlerne i X n k = [x,...,x k ]. Antag at X har fuld rang. For givet y R, lad p L (y) = X β vektor i L. k. Så er y Xβ ortogonal på enhver Specielt gælder: x j (y Xβ) = j. Stables disse k ligninger, fås X (y Xβ) = 29

30 eller X y }{{} k = X}{{ X} β. k k k Da X har fuld rang er X X invertibel, så løsningen ˆβ er Dermed er så projektionsmatricen for L er Bemærk: ˆβ = (X X) X y p L (y) = X ˆβ = X(X X) X y, H = X(X X) X. Matricen H er symmetrisk, dvs. H = H, og idempotent, dvs. HH = H (vises let). 3

31 Matricen I H er projektionsmatricen for L, da p L (y) = y p L (y) = Iy Hy = (I H)y. Matricen I H er symmetrisk og idempotent: (I H) = I H og (I H) 2 = I H..2.2 Den flerdimensionale normalfordeling Antag at ε er en stokastisk vektor med komponenter ε,...,ε n som er uafhængige N(, ). For k < n, lad Y = µ + A ε, k k k nn 3

32 så siges Y at være multivariat normalfordelt N k (µ,σ), hvor µ = EY Σ = Cov(Y)=AA Bemærk: VarY i = Σ ii. Hvis A (og dermed Σ) har fuld rang, siges Y at være regulær. Ellers siges Y at være singulær. Bemærk: Kovariansmatricen Σ er ikke-negativ definit. Dvs: x Σx, x Hvis Σ har fuld rang, så er Σ positiv definit. Dvs, x Σx = hvis og kun hvis x =. 32

33 Transformation: Lad Z = B Y + c r k r = Bµ + c + BAε, så er Z N r (Bµ + c,bσb ). 33