Anvendt Lineær Algebra

Transkript

1 Anvendt Lineær Algebra Kursusgang 4 Anita Abildgaard Sillasen Institut for Matematiske Fag AAS (I17) Anvendt Lineær Algebra 1 / 32

2 Vægtet mindste kvadraters metode For et lineært ligningssystem (af m ligninger med n ubekendte) Ax = b er en mindste kvadraters løsning ˆx en løsning til normalligningen (A T A)x = A T b. AAS (I17) Anvendt Lineær Algebra 2 / 32

3 Hvis 1 A =. og b = 1 b 1. b m så er A T A = m og A T b = b b m og derfor er ˆx = b b m, m altså (ikke-vægtet) gennemsnit af b 1,..., b m. Det vægtede gennemsnit af b 1,..., b m med vægte hhv. c 1,..., c m (hvor c 1,..., c m er positive tal) er c 1 b c m b m c c m. AAS (I17) Anvendt Lineær Algebra 3 / 32

4 Betragt nu et ligningssystem af m ligninger med n ubekendte Ax = b. De m ligninger (observationer) tildeles vægte c 1,..., c m som skrives i en matrix c c C = c m Som vægte kan vi bruge c i = 1 σi 2 eventuelt c i = konst. 1. σi 2 hvor σ 2 i er variansen af den i te observation, eller Skrives også (i Lay) som wi 2 = c i hvor w i = 1 σ i og w w W = w m Så er W T W = WW = C. AAS (I17) Anvendt Lineær Algebra 4 / 32

5 Hvis vægtene c 1,..., c m er hele tal (positive) så svarer det vægtede ligningssystem til at betragte (ikke-vægtet) ligningssystem Ãx = b, hvor ligning nr. i fra ligningssystemet Ax = b skrives c i gange. En mindste kvadraters løsning til det nye ligningssystem er en løsning til normalligningen à T Ãx = ÃT b. AAS (I17) Anvendt Lineær Algebra 5 / 32

6 Eksempel: A = a b c d e f, b = r s t, C = Så kan vi betragte à = a b a b c d e f e f e f, b = r r s t t t. AAS (I17) Anvendt Lineær Algebra 6 / 32

7 Normalligningen for ligningssystemet Ãx = b er à T Ãx = ÃT b. Da ÃT à = A T CA og ÃT b = A T Cb er denne ligning ækvivalent med A T CAx = A T Cb. AAS (I17) Anvendt Lineær Algebra 7 / 32

8 Det vægtede ligningssytem Ax = b med generelle vægte har normalligning A T CAx = A T Cb. En vægtet mindste kvadraters løsning til Ax = b er en løsning til normalligningen. AAS (I17) Anvendt Lineær Algebra 8 / 32

9 I observationsligningen Aˆx = b + ˆr indgår residual vektoren ˆr = 1 ˆr.. ˆr m Vi udregner c ˆr T 0 c Cˆr = [ˆr 1... ˆr m ] ˆr.... = ˆr c m m c 1ˆr 1 [ˆr 1... ˆr m ]. = c 1ˆr c mˆr m. 2 c mˆr m Dette er kvadratet på den vægtede længde af vektoren ˆr. Altså kvadratet på den vægtede afstand mellem Aˆx og b. En vægtet mindste kvadraters løsning er en vektor x som minimerer ˆr T Cˆr = (Ax b) T C(Ax b). AAS (I17) Anvendt Lineær Algebra 9 / 32

10 Eksempel. Hvis 1 A =., b = 1 b 1. b m og C = c c c m så er A T CA = c c m og A T Cb = c 1 b c m b m og den vægtede mindste kvadraters løsning er derfor det vægtede gennemsnit ˆx = c 1b c m b m c c m. AAS (I17) Anvendt Lineær Algebra 10 / 32

11 Eksempel. Find linie y = αx + β der passer bedst til punkterne med vægte hhv. 1, 5, 1, 5, 1. (1, 3), (2, 5), (3, 9), (4, 12), (5, 14) Vi betragter ligningssystemet [ ] 1 3 β 5 = 1 4 α AAS (I17) Anvendt Lineær Algebra 11 / 32

12 Normalligningen: [ (A T β CA) = A α] T Cb. Den vægtede mindste kvadraters løsning er [ ] β = (A T CA) 1 A T Cb = α [ ] Den vægtede mindste kvadraters linie har ligning y = 3.17x Denne linie er grøn på næste side. Den ikke-vægtede mindste kvadraters linie er rød på næste side. AAS (I17) Anvendt Lineær Algebra 12 / 32

13 x AAS (I17) Anvendt Lineær Algebra 13 / 32

14 Den generelle fejlforplantningslov X 1,..., X n er stokastiske variable med middelværdier E(X i ) og varianser Kovarianserne er V (X i ) = E((X i E(X i )) 2 ) = E(X 2 i ) E(X i ) 2. Cov(X i, X j ) = E((X i E(X i ))(X j E(X j ))). Hvis X i og X j er uafhængige så er Cov(X i, X j ) = 0. Cov(X i, X i ) = V (X i ). AAS (I17) Anvendt Lineær Algebra 14 / 32

15 Kovariansmatricen for er X = hvor σi 2 = V (X i ) og σ ij = Cov(X i, X j ) = Cov(X j, X i ) = σ ji. Σ X er en symmetrisk matrix. X 1. X n σ1 2 σ 12 σ σ 1n σ 21 σ2 2 σ σ 2n Σ X = σ 31 σ 32 σ σ 3n,.... σ n1 σ n2 σ n3... σn 2 AAS (I17) Anvendt Lineær Algebra 15 / 32

16 Hvis en anden vektor af stokastiske variable afhænger lineært af X: Y = Y 1. Y m Y = AX hvor A er en m n matrix, så giver fejlforplantningsloven en sammenhæng mellem kovariansmatricerne: Σ Y = AΣ X A T. AAS (I17) Anvendt Lineær Algebra 16 / 32

17 En vægtet mindste kvadraters løsning til ligningssystemet Ax = b med vægtmatrix C = diag(c 1,..., c m ) afhænger lineært af observationsvektoren b: ˆx = (A T CA) 1 A T Cb. Vi har valgt C så c i = konst. 1. Dermed er σi 2 c σ C 1 0 c =... = 1 0 σ konst.... = 1 konst. Σ b cm σm 2 Hvor den sidste lighed skyldes at observationerne antages at være uafhængige. Dermed Cov(b i, b j ) = 0, når i j. Vi skriver C = σ0 2Σ 1 b, hvor σ2 0 kaldes variansfaktoren. Variansfaktoren estimeres som ˆσ 2 0 = ˆrT Cˆr m n. AAS (I17) Anvendt Lineær Algebra 17 / 32

18 Kovariansmatricen Σˆx kan bestemmes fra fejlforplantningsloven Σˆx = ((A T CA) 1 A T C)Σ b ((A T CA) 1 A T C) T = σ 2 0(A T CA) 1. Vi bruger estimatet for σ 2 0 : Σˆx = ˆσ 2 0(A T CA) 1. AAS (I17) Anvendt Lineær Algebra 18 / 32

19 Fortsættelse af eksempel fra kursusgang 2: Mellem fem punkter A, B, C, D, E er der målt følgende højdeforskelle: E er et fikspunkt med højde 10. Fra punkt Til punkt Højdeforskel Afstand B A 8 12 B C 2 20 B E 5 8 C A 7 14 C D 1 16 D A 6 13 D E 4 20 E A 3 8 AAS (I17) Anvendt Lineær Algebra 19 / 32

20 AAS (I17) Anvendt Lineær Algebra 20 / 32

21 Sæt A = ˆr 1 2 ˆr 2 5 ˆr 3, b = 7 1, og ˆr = ˆr 4 ˆr 5. 6 ˆr 6 6 ˆr 7 13 ˆr 8 Så er observationsligningen: Ax = b + ˆr. Som vægtmatrix bruges C = diag ( 1 12, 1 20, 1 8, 1 14, 1 16, 1 13, 1 20, 1 ). 8 AAS (I17) Anvendt Lineær Algebra 21 / 32

22 En vægtet mindste kvadraters løsning: 12.9 ˆx = (A T CA) 1 A T Cb = Vi får følgende residualvektor ˆr = Aˆx b = AAS (I17) Anvendt Lineær Algebra 22 / 32

23 Variansfaktor ˆσ 2 0 = ˆrT Cˆr 8 4 = Kovariansmatrix Σˆx = ˆσ 0(A 2 T CA) 1 = AAS (I17) Anvendt Lineær Algebra 23 / 32

24 Introduktion til Cholesky dekomposition. Først: repetition af diagonalisering. En m n matrix A er kvadratisk hvis m = n. En kvadratisk matrix A er symmetrisk hvis A T = A. Idet (BC) T = C T B T er enhver matrix på formen A T A symmetrisk: (A T A) T = A T (A T ) T = A T A. En vektor x R n, x 0 er egenvektor for en n n matrix A hvis der findes et tal (en egenværdi) λ så Ax = λx. AAS (I17) Anvendt Lineær Algebra 24 / 32

25 En matrix A er diagonaliserbar hvis der findes en basis {x 1,..., x n } for R n, hvor hver vektor er en egenvektor Ax i = λ i x i. Dette er ækvivalent med at der findes en matrix P og en diagonalmatrix D så P 1 AP = D. Enhver symmetrisk matrix er diagonaliserbar. Enhver matrix på formen A T A er altså diagonaliserbar. AAS (I17) Anvendt Lineær Algebra 25 / 32

26 Hvis λ er en egenværdi for A T A med en tilhørende egenvektor x, A T Ax = λx, så er λ x 2 = λx x = (A T Ax) x = (A T Ax) T x = Altså λ 0. x T A T Ax = (Ax) T Ax = Ax 2 0. Hvis søjlerne i A er lineært uafhængige så gælder der faktisk λ > 0. En symmetrisk matrix hvis egenværdier alle er > 0 siges at være positiv definit. AAS (I17) Anvendt Lineær Algebra 26 / 32

27 En kvadratisk matrix U siges at være en øvre (upper) triangulær matrix hvis der står 0 på alle pladser under diagonalen. u 11 u 12 u 13 u 1n 0 u 22 u 23 u 2n U = 0 0 u 33 u 3n u nn AAS (I17) Anvendt Lineær Algebra 27 / 32

28 En kvadratisk matrix L siges at være en nedre (lower) triangulær matrix hvis der står 0 på alle pladser over diagonalen. l l 21 l L = l 31 l 32 l l n1 l n2 l n3 l nn U er en øvre triangulær matrix hvis og kun hvis U T er nedre triangulær matrix. En matrix D er en diagonalmatrix hvis og kun hvis den er både øvre triangulær og nedre triangulær. AAS (I17) Anvendt Lineær Algebra 28 / 32

29 Cholesky dekomposition Vi ønsker nu at skrive en n n matrix A som et produkt A = U T U, hvor U er en øvre triangulær matrix. Dette kaldes Cholesky dekompositionen af A. I litteraturen skriver man ofte Cholesky dekompositionen som A = LL T, hvor L = U T er en nedre triangulær matrix. MATLAB: chol(a) beregner Cholesky dekomposition U Maple: LUDecomposition(A,method=Cholesky) beregner L = U T AAS (I17) Anvendt Lineær Algebra 29 / 32

30 Enhver matrix på formen U T U er symmetrisk og hvis tallene på diagonalen i U er 0 så er søjlerne lineært uafhængige og dermed er U T U positiv definit. Vi vil derfor antage at A er symmetrisk, positiv definit matrix. AAS (I17) Anvendt Lineær Algebra 30 / 32

31 Cholesky dekomposition og mindste kvadraters metode Vi ønsker nu at finde en mindste kvadraters løsning til det (inkonsistente) ligningssystem Ax = b. Vi betragter derfor normalligningen A T Ax = A T b. Matricen A T A er symmetrisk og da søjlerne i A sædvanligvis er lineært uafhængige er A T A også positiv definit. AAS (I17) Anvendt Lineær Algebra 31 / 32

32 Vi kan derfor finde en Cholesky dekomposition A T A = U T U, hvor U er en øvre triangulær matrix og dermed skrive normalligningen som hvor y = A T b. U T Ux = y, Vi kan løse denne ligning ved at sætte z = Ux og løse først U T z = y og derefter Ux = z. Disse ligninger kan let løses uden brug af rækkeoperationer, da U er triangulær. AAS (I17) Anvendt Lineær Algebra 32 / 32