Anvendt Lineær Algebra

Anvendt Lineær Algebra Kursusgang 4 Anita Abildgaard Sillasen Institut for Matematiske Fag AAS (I17) Anvendt Lineær Algebra 1 / 32

Vægtet mindste kvadraters metode For et lineært ligningssystem (af m ligninger med n ubekendte) Ax = b er en mindste kvadraters løsning ˆx en løsning til normalligningen (A T A)x = A T b. AAS (I17) Anvendt Lineær Algebra 2 / 32

Hvis 1 A =. og b = 1 b 1. b m så er A T A = m og A T b = b 1 +... + b m og derfor er ˆx = b 1 +... + b m, m altså (ikke-vægtet) gennemsnit af b 1,..., b m. Det vægtede gennemsnit af b 1,..., b m med vægte hhv. c 1,..., c m (hvor c 1,..., c m er positive tal) er c 1 b 1 +... + c m b m c 1 +... + c m. AAS (I17) Anvendt Lineær Algebra 3 / 32

Betragt nu et ligningssystem af m ligninger med n ubekendte Ax = b. De m ligninger (observationer) tildeles vægte c 1,..., c m som skrives i en matrix c 1 0... 0 0 c 2... 0 C =.... 0 0... c m Som vægte kan vi bruge c i = 1 σi 2 eventuelt c i = konst. 1. σi 2 hvor σ 2 i er variansen af den i te observation, eller Skrives også (i Lay) som wi 2 = c i hvor w i = 1 σ i og w 1 0... 0 0 w 2... 0 W =.... 0 0... w m Så er W T W = WW = C. AAS (I17) Anvendt Lineær Algebra 4 / 32

Hvis vægtene c 1,..., c m er hele tal (positive) så svarer det vægtede ligningssystem til at betragte (ikke-vægtet) ligningssystem Ãx = b, hvor ligning nr. i fra ligningssystemet Ax = b skrives c i gange. En mindste kvadraters løsning til det nye ligningssystem er en løsning til normalligningen à T Ãx = ÃT b. AAS (I17) Anvendt Lineær Algebra 5 / 32

Eksempel: A = a b c d e f, b = r s t, C = 2 0 0 0 1 0 0 0 3. Så kan vi betragte à = a b a b c d e f e f e f, b = r r s t t t. AAS (I17) Anvendt Lineær Algebra 6 / 32

Normalligningen for ligningssystemet Ãx = b er à T Ãx = ÃT b. Da ÃT à = A T CA og ÃT b = A T Cb er denne ligning ækvivalent med A T CAx = A T Cb. AAS (I17) Anvendt Lineær Algebra 7 / 32

Det vægtede ligningssytem Ax = b med generelle vægte har normalligning A T CAx = A T Cb. En vægtet mindste kvadraters løsning til Ax = b er en løsning til normalligningen. AAS (I17) Anvendt Lineær Algebra 8 / 32

I observationsligningen Aˆx = b + ˆr indgår residual vektoren ˆr = 1 ˆr.. ˆr m Vi udregner c 1 0... 0 ˆr T 0 c 2... 0 1 Cˆr = [ˆr 1... ˆr m ] ˆr.... = ˆr 0 0... c m m c 1ˆr 1 [ˆr 1... ˆr m ]. = c 1ˆr 1 2 +... + c mˆr m. 2 c mˆr m Dette er kvadratet på den vægtede længde af vektoren ˆr. Altså kvadratet på den vægtede afstand mellem Aˆx og b. En vægtet mindste kvadraters løsning er en vektor x som minimerer ˆr T Cˆr = (Ax b) T C(Ax b). AAS (I17) Anvendt Lineær Algebra 9 / 32

Eksempel. Hvis 1 A =., b = 1 b 1. b m og C = c 1 0... 0 0 c 2... 0... 0 0... c m så er A T CA = c 1 +... + c m og A T Cb = c 1 b 1 +... + c m b m og den vægtede mindste kvadraters løsning er derfor det vægtede gennemsnit ˆx = c 1b 1 +... + c m b m c 1 +... + c m. AAS (I17) Anvendt Lineær Algebra 10 / 32

Eksempel. Find linie y = αx + β der passer bedst til punkterne med vægte hhv. 1, 5, 1, 5, 1. (1, 3), (2, 5), (3, 9), (4, 12), (5, 14) Vi betragter ligningssystemet 1 1 3 1 2 [ ] 1 3 β 5 = 1 4 α 9 12. 1 5 14 AAS (I17) Anvendt Lineær Algebra 11 / 32

Normalligningen: [ (A T β CA) = A α] T Cb. Den vægtede mindste kvadraters løsning er [ ] β = (A T CA) 1 A T Cb = α [ ] 0.96. 3.17 Den vægtede mindste kvadraters linie har ligning y = 3.17x 0.96. Denne linie er grøn på næste side. Den ikke-vægtede mindste kvadraters linie er rød på næste side. AAS (I17) Anvendt Lineær Algebra 12 / 32

15 10 5 0 1 2 3 4 5 6 x AAS (I17) Anvendt Lineær Algebra 13 / 32

Den generelle fejlforplantningslov X 1,..., X n er stokastiske variable med middelværdier E(X i ) og varianser Kovarianserne er V (X i ) = E((X i E(X i )) 2 ) = E(X 2 i ) E(X i ) 2. Cov(X i, X j ) = E((X i E(X i ))(X j E(X j ))). Hvis X i og X j er uafhængige så er Cov(X i, X j ) = 0. Cov(X i, X i ) = V (X i ). AAS (I17) Anvendt Lineær Algebra 14 / 32

Kovariansmatricen for er X = hvor σi 2 = V (X i ) og σ ij = Cov(X i, X j ) = Cov(X j, X i ) = σ ji. Σ X er en symmetrisk matrix. X 1. X n σ1 2 σ 12 σ 13... σ 1n σ 21 σ2 2 σ 23... σ 2n Σ X = σ 31 σ 32 σ3 2... σ 3n,.... σ n1 σ n2 σ n3... σn 2 AAS (I17) Anvendt Lineær Algebra 15 / 32

Hvis en anden vektor af stokastiske variable afhænger lineært af X: Y = Y 1. Y m Y = AX hvor A er en m n matrix, så giver fejlforplantningsloven en sammenhæng mellem kovariansmatricerne: Σ Y = AΣ X A T. AAS (I17) Anvendt Lineær Algebra 16 / 32

En vægtet mindste kvadraters løsning til ligningssystemet Ax = b med vægtmatrix C = diag(c 1,..., c m ) afhænger lineært af observationsvektoren b: ˆx = (A T CA) 1 A T Cb. Vi har valgt C så c i = konst. 1. Dermed er σi 2 c 1 1 0... 0 σ C 1 0 c 1 1 2 0... 0 2... 0 =... = 1 0 σ2 2... 0 konst.... = 1 konst. Σ b. 0 0... cm 1 0 0... σm 2 Hvor den sidste lighed skyldes at observationerne antages at være uafhængige. Dermed Cov(b i, b j ) = 0, når i j. Vi skriver C = σ0 2Σ 1 b, hvor σ2 0 kaldes variansfaktoren. Variansfaktoren estimeres som ˆσ 2 0 = ˆrT Cˆr m n. AAS (I17) Anvendt Lineær Algebra 17 / 32

Kovariansmatricen Σˆx kan bestemmes fra fejlforplantningsloven Σˆx = ((A T CA) 1 A T C)Σ b ((A T CA) 1 A T C) T = σ 2 0(A T CA) 1. Vi bruger estimatet for σ 2 0 : Σˆx = ˆσ 2 0(A T CA) 1. AAS (I17) Anvendt Lineær Algebra 18 / 32

Fortsættelse af eksempel fra kursusgang 2: Mellem fem punkter A, B, C, D, E er der målt følgende højdeforskelle: E er et fikspunkt med højde 10. Fra punkt Til punkt Højdeforskel Afstand B A 8 12 B C 2 20 B E 5 8 C A 7 14 C D 1 16 D A 6 13 D E 4 20 E A 3 8 AAS (I17) Anvendt Lineær Algebra 19 / 32

AAS (I17) Anvendt Lineær Algebra 20 / 32

Sæt 1 1 0 0 0 1 1 0 0 1 0 0 A = 1 0 1 0 0 0 1 1 1 0 0 1 0 0 0 1 1 0 0 0 8 ˆr 1 2 ˆr 2 5 ˆr 3, b = 7 1, og ˆr = ˆr 4 ˆr 5. 6 ˆr 6 6 ˆr 7 13 ˆr 8 Så er observationsligningen: Ax = b + ˆr. Som vægtmatrix bruges C = diag ( 1 12, 1 20, 1 8, 1 14, 1 16, 1 13, 1 20, 1 ). 8 AAS (I17) Anvendt Lineær Algebra 21 / 32

En vægtet mindste kvadraters løsning: 12.9 ˆx = (A T CA) 1 A T Cb = 4.80 6.09. 6.73 Vi får følgende residualvektor 0.117 0.705 0.204 ˆr = Aˆx b = 0.178 0.360. 0.182 0.730 0.0878 AAS (I17) Anvendt Lineær Algebra 22 / 32

Variansfaktor ˆσ 2 0 = ˆrT Cˆr 8 4 = 0.0179. Kovariansmatrix 0.083 0.039 0.061 0.054 Σˆx = ˆσ 0(A 2 T CA) 1 = 0.039 0.092 0.051 0.033 0.061 0.051 0.16 0.078. 0.054 0.033 0.078 0.14 AAS (I17) Anvendt Lineær Algebra 23 / 32

Introduktion til Cholesky dekomposition. Først: repetition af diagonalisering. En m n matrix A er kvadratisk hvis m = n. En kvadratisk matrix A er symmetrisk hvis A T = A. Idet (BC) T = C T B T er enhver matrix på formen A T A symmetrisk: (A T A) T = A T (A T ) T = A T A. En vektor x R n, x 0 er egenvektor for en n n matrix A hvis der findes et tal (en egenværdi) λ så Ax = λx. AAS (I17) Anvendt Lineær Algebra 24 / 32

En matrix A er diagonaliserbar hvis der findes en basis {x 1,..., x n } for R n, hvor hver vektor er en egenvektor Ax i = λ i x i. Dette er ækvivalent med at der findes en matrix P og en diagonalmatrix D så P 1 AP = D. Enhver symmetrisk matrix er diagonaliserbar. Enhver matrix på formen A T A er altså diagonaliserbar. AAS (I17) Anvendt Lineær Algebra 25 / 32

Hvis λ er en egenværdi for A T A med en tilhørende egenvektor x, A T Ax = λx, så er λ x 2 = λx x = (A T Ax) x = (A T Ax) T x = Altså λ 0. x T A T Ax = (Ax) T Ax = Ax 2 0. Hvis søjlerne i A er lineært uafhængige så gælder der faktisk λ > 0. En symmetrisk matrix hvis egenværdier alle er > 0 siges at være positiv definit. AAS (I17) Anvendt Lineær Algebra 26 / 32

En kvadratisk matrix U siges at være en øvre (upper) triangulær matrix hvis der står 0 på alle pladser under diagonalen. u 11 u 12 u 13 u 1n 0 u 22 u 23 u 2n U = 0 0 u 33 u 3n........ 0 0 0 u nn AAS (I17) Anvendt Lineær Algebra 27 / 32

En kvadratisk matrix L siges at være en nedre (lower) triangulær matrix hvis der står 0 på alle pladser over diagonalen. l 11 0 0 0 l 21 l 22 0 0 L = l 31 l 32 l 33 0........ l n1 l n2 l n3 l nn U er en øvre triangulær matrix hvis og kun hvis U T er nedre triangulær matrix. En matrix D er en diagonalmatrix hvis og kun hvis den er både øvre triangulær og nedre triangulær. AAS (I17) Anvendt Lineær Algebra 28 / 32

Cholesky dekomposition Vi ønsker nu at skrive en n n matrix A som et produkt A = U T U, hvor U er en øvre triangulær matrix. Dette kaldes Cholesky dekompositionen af A. I litteraturen skriver man ofte Cholesky dekompositionen som A = LL T, hvor L = U T er en nedre triangulær matrix. MATLAB: chol(a) beregner Cholesky dekomposition U Maple: LUDecomposition(A,method=Cholesky) beregner L = U T AAS (I17) Anvendt Lineær Algebra 29 / 32

Enhver matrix på formen U T U er symmetrisk og hvis tallene på diagonalen i U er 0 så er søjlerne lineært uafhængige og dermed er U T U positiv definit. Vi vil derfor antage at A er symmetrisk, positiv definit matrix. AAS (I17) Anvendt Lineær Algebra 30 / 32

Cholesky dekomposition og mindste kvadraters metode Vi ønsker nu at finde en mindste kvadraters løsning til det (inkonsistente) ligningssystem Ax = b. Vi betragter derfor normalligningen A T Ax = A T b. Matricen A T A er symmetrisk og da søjlerne i A sædvanligvis er lineært uafhængige er A T A også positiv definit. AAS (I17) Anvendt Lineær Algebra 31 / 32

Vi kan derfor finde en Cholesky dekomposition A T A = U T U, hvor U er en øvre triangulær matrix og dermed skrive normalligningen som hvor y = A T b. U T Ux = y, Vi kan løse denne ligning ved at sætte z = Ux og løse først U T z = y og derefter Ux = z. Disse ligninger kan let løses uden brug af rækkeoperationer, da U er triangulær. AAS (I17) Anvendt Lineær Algebra 32 / 32