Lineær algebra Kursusgang 6

Transkript

1 Lineær algebra Kursusgang 6

2 Mindste kvadraters metode og Cholesky dekomposition Vi ønsker at finde en mindste kvadraters løsning til det (inkonsistente) ligningssystem hvor A er en m n matrix. Ax = b, Vi betragter derfor normalligningen A T Ax = A T b. Matricen A T A er en symmetrisk n n matrix som er altså er diagonaliserbar med egenværdier 0. Da søjlerne i A sædvanligvis er lineært uafhængige er alle A T A s egenværdier > 0.

3 Vi betragter derfor en matrix A som er kvadratisk (n n), symmetrisk (A T = A) og positiv definit (egenværdierne er > 0).

4 Cholesky dekomposition Vi ønsker nu at skrive matricen A = som et produkt hvor U = a 11 a a 1n a 21. a a 2n. a n1 a n2... a nn A = U T U, u 11 u 12 u 13 u 1n 0 u 22 u 23 u 2n 0 0 u u 3n u nn.

5 MATLAB:. chol(a) beregner Cholesky dekomposition U Maple:. LUDecomposition(A,method=Cholesky) beregner L = U T

6 Betragt først 3 3 matricer. Lad A = og antag at A = U T U. a 11 a 12 a 13 a 12 a 22 a 23 og U = a 13 a 23 a 33 u 11 u 12 u 13 0 u 22 u u 33, Så er. a 11 = u a 12 = u 11 u 12. a 13 = u 11 u 13. a 22 = u u2 22. a 23 = u 12 u 13 + u 22 u 23. a 33 = u u u2 33.

7 Da vi ønsker at u 11, u 22, u 33 skal være positive får vi u 11 = a 11 u 12 = a 12 u u = a 13 u 22 = u 11 a 22 u 2 12 u 23 = a 23 u 12 u 13 u 33 = u 22 a 33 u 2 13 u2 23 Man kan bevise at når A er positiv definit så er alle udtryk, der tages kvadratrod af, positive.

8 For en generel n n matrix A beregnes U på følgende måde: Vi beregner én række ad gangen: række 1, række 2,.... I første række er u 11 = a 11 og u 1l = a 1l u 11, for l 2. I anden række er u 22 = a 22 u 2 12 og u 2l = a 2l u 12 u 1l u 22, for l 3. Når rækkerne 1,..., k 1 så beregnes række k på følgende måde: u kk = a kk u 2 1k u2 2k... u2 k 1,k og for l k + 1. u kl = a kl u 1k u 1l... u k 1,k u k 1,l u kk,

9 Cholesky dekomposition og mindste kvadraters metode Vi vender tilbage til normalligningen A T Ax = A T b. Vi finder en Cholesky dekomposition A T A = U T U, hvor U er en øvre triangulær matrix og kan dermed skrive normalligningen som hvor y = A T b. U T Ux = y,

10 Vi kan løse ligningen ved at sætte z = Ux og løse først og derefter U T (Ux) = y U T z = y Ux = z. Disse ligninger kan let løses uden brug af rækkeoperationer, da U er triangulær.

11 Lad ˆx være en mindste kvadraters løsning til ligningssystemet Ax = b og lad være residual vektoren. ˆr = Aˆx b Vi beregner kvadratsummen af residualerne (det er denne størrelse der minimeres ved mindste kvadraters metode): ϕ = ˆr Tˆr = (Aˆx b) T (Aˆx b) = ˆx T (A T Aˆx A T b) b T Aˆx + b T b. Da ˆx er løsning til normalligningen A T Aˆx A T b = 0 er Dette tal er positivt. Sæt ϕ = ˆr Tˆr = b T b b T Aˆx. s = ϕ.

12 Lad nu den øvre triangulær matrix U og vektoren z opfylde A T A = U T U og U T z = A T b. Sæt U 2 = [ ] U z. 0 s Så er U T 2 U 2 = [ U T ] [ 0 U z s 0 s z T ] = [ U T U U T ] z (U T z) T z T z + s 2 = [ A T A A T ] b (A T b) T b T. b Da z = (U T ) 1 A T b er z T z = b T AU 1 (U T ) 1 A T b = b T A(U T U) 1 A T b = b T A(A T A) 1 A T b = b T Aˆx,

13 ifølge normalligningen. Dermed er z T z + s 2 = b T Aˆx + b T b b T Aˆx = b T b. U2 T U 2 er altså Cholesky dekomposition af [ A T A A T ] b (A T b) T b T b og U 2 kan derfor bestemmes ved hjælp af algoritmen til beregning af Cholesky dekomposition. Tallet s på den sidste diagonalplads i U 2 opfylder altså at s 2 er kvadratsummen af residualerne.

14

15 Mellem fem punkter A, B, C, D, E er der målt følgende højdeforskelle: Fra punkt Til punkt Højdeforskel B A 8 B C 2 B E 5 C A 7 C D 1 D A 6 D E 4 E A 3

16 Sæt A = og b = , og find mindste kvadraters løsning til Ax = b.

17 Vi skal bruge A T A = , og A T b = b T b = 204

18 Vi udregner Cholesky dekoposition af A T A U = Problem: Matricen A T A er ikke positiv definit. Men udregning af Cholesky dekompositionen går godt fordi det kun er det sidste diagonalelement der er 0. Hvis der ikke er frie variable i løsningen så er der pivotposition i alle søjler i A. Søjlerne er dermed lineært uafhængige og A T A er positiv definit.

19 Vi ser også på følgende matrix [ A T A A T ] b (A T b) T b T b = Stort problem: Forsøg på at udregne Cholesky dekomposition af denne matrix fører til division med 0, idet u 55 = 0.

20 Vi får nu oplyst at E er et fikspunkt med højde 10. Vi sætter så A = og betragter ligningen Ax = b. og b = ,

21 Vi udregner [ A T A A T ] b (A T b) T b T b = Vi finder Cholesky demposition af denne matrix U 2 =

22 Vi ser at Cholesky dekopositionen af A T A er U = og at z = , er løsningen til ligningen U T z = A T b. Den mindste kvadraters løsning til Ax = b er løsning ˆx til ligningen Ux = z.

23 Vi får ˆx = Desuden ser vi at kvadratsummen af residualerne er = 1.20.

24 Vægtet mindste kvadraters metode Find vægtet mindste kvadraters løsning til med vægtmatrix C. Ax = b Normalligning Vi ser på matricen A T CAx = A T Cb. [ A T CA A T ] Cb (A T Cb) T b T Cb og dennes Cholesky dekomposition [ U z U 2 = 0 s ].

25 ˆx er løsning til Ux = z og s 2 er den vægtede kvadratsum af residualer.