Anvendt Lineær Algebra

Anvendt Lineær Algebra Kursusgang 3 Anita Abildgaard Sillasen Institut for Matematiske Fag AAS (I17) Anvendt Lineær Algebra 1 / 38

Vi betragter et lineært ligningssystem (af m ligninger med n ubekendte) Ax = b. Ligningssystemet antages at være inkonsistent (ingen løsninger) fordi tallene er fremkommet som måleresultater med målefejl. Vi skal derfor finde en mindste kvadraters løsning ˆx som opfylder Aˆx = ˆb, hvor ˆb er den vektor i Col A hvis afstand til b er mindst. ˆb er altså ortogonal projektionen af b på Col A. Vi beregner ikke ˆb. AAS (I17) Anvendt Lineær Algebra 2 / 38

En vektor x er mindste kvadraters løsning til Ax = b hvis og kun hvis den er løsning til normalligningen (A T A)x = A T b. Når en mindste kvadraters løsning ˆx er fundet ved at løse normalligningen kan eventuelt bestemme ˆb = Aˆx. Fremgangsmåden virker kun for lineære ligninger. AAS (I17) Anvendt Lineær Algebra 3 / 38

Ikke-lineære problemer. 6 5 4 y 3 2 1 0 0 1 2 3 4 5 6 7 x AAS (I17) Anvendt Lineær Algebra 4 / 38

Vi kender de præcise koordinater for et antal punkter (blå på figuren på forrige side). Desuden er der et ukendt punkt (rødt). Afstanden mellem det kendte punkt (1, 3) og det ukendte punkt (x, y) måles til værdien b. Vi har altså følgende ligning (hvis vi ser bort fra målefejl): (x 1)2 + (y 3) 2 = b. Tilsvarende ligninger fås ved måling af aftanden til andre kendte punkter. Men disse ligninger er ikke-lineære. AAS (I17) Anvendt Lineær Algebra 5 / 38

Lineær Approximation 4 3 2 1 0 1 2 x AAS (I17) Anvendt Lineær Algebra 6 / 38

Lineær approximation af funktion af én variabel Ligningen for tangenten til grafen for f (x) i punktet (a, f (a)) er y = f (a) + f (a)(x a). Lineær approximation for x tæt på a: f (x) f (a) + f (a)(x a). F.eks. hvis f (x) = x 2 2, a = 2 så er f (x) = 2x og tangentens ligning er: y = 2 + 4(x 2) eller y = 4x 6. AAS (I17) Anvendt Lineær Algebra 7 / 38

Løsning af ligning ved hjælp af lineær approximation (Newtons metode): Eksempel. Løs ligning f (x) = 0 hvor f (x) = x 2 2. Vi vil bestemme en følge af tal x 0, x 1, x 2, x 3,..., der konvergerer mod den præcise løsning. x 0 er vores første gæt på en løsning: x 0 = 2. I nærheden af x 0 er f (x) f (x 0 ) + f (x 0 )(x x 0 ) = 4x 6. Da løsningen formodes at ligge tæt på x 0 kan vi løse ligningen 4x 6 = 0 i stedet for den ikke-lineære ligning. Denne ligning har løsning x 1 = 1.5. AAS (I17) Anvendt Lineær Algebra 8 / 38

4 3 2 1 0 1 2 x AAS (I17) Anvendt Lineær Algebra 9 / 38

4 3 2 1 0 1 2 x AAS (I17) Anvendt Lineær Algebra 10 / 38

I nærheden af x 1 er f (x) f (x 1 ) + f (x 1 )(x x 1 ) = 3x 4.25. I stedet for den ikke-lineære ligning løser vi ligningen 3x 4.25 = 0 som har løsning x 2 = 1.4166666. Dernæst fås og x 3 = 1.4142156 x 4 = 1.4142135. AAS (I17) Anvendt Lineær Algebra 11 / 38

Funktion af to variable f (x, y): en funktion af to variable med partielle afledede f x (x, y) = f x og f y (x, y) = f y. Tilvæksten af f (x, y) ud fra punktet (a, b): f = f (a + x, b + y) f (a, b) approximeres af differentialet df = f x (a, b) x + f y (a, b) y. Differentialet kan fremkomme som prikprodukt af gradient vektoren f (a, b) = f x (a, b), f y (a, b) og vektoren x, y : df = f (a, b) x, y. AAS (I17) Anvendt Lineær Algebra 12 / 38

Lineær approximation for funktion af to variable f (a + x, b + y) f (a, b) + f x (a, b) x + f y (a, b) y, Eller, når (x, y) er tilstrækkeligt tæt på (a, b): f (x, y) f (a, b) + f x (a, b)(x a) + f y (a, b)(y b). AAS (I17) Anvendt Lineær Algebra 13 / 38

Lad f (x, y) være afstanden mellem (x, y) og et fast punkt (x 1, y 1 ). Så er f x (x, y) = f (x, y) = (x x 1 ) 2 + (y y 1 ) 2. x x 1 (x x1 ) 2 + (y y 1 ), f y y 1 2 y (x, y) = (x x1 ) 2 + (y y 1 ). 2 For (x, y) i nærheden af punktet (x 0, y 0 ) er f (x, y) f (x 0, y 0 ) + f x (x 0, y 0 )(x x 0 ) + f y (x 0, y 0 )(y y 0 ). AAS (I17) Anvendt Lineær Algebra 14 / 38

Vi kender de præcise koordinater for et antal punkter: (x 1, y 1 ), (x 2, y 2 ),...,(x n, y n ). Desuden er der et punkt med ukendte koordinater (x P, y P ). Vi har målt afstanden fra dette punkt til de n kendte punkter og får værdierne henholdsvis b 1, b 2,..., b n. Altså: (xp x 1 ) 2 + (y P y 1 ) 2 = b 1 (xp x 2 ) 2 + (y P y 2 ) 2 = b 2. (xp x n ) 2 + (y P y n ) 2 = b n P.g.a. målefejl er der ikke noget punkt (x P, y P ) der passer med alle ligninger. Vi ønsker at finder et punkt, der passer bedst muligt. AAS (I17) Anvendt Lineær Algebra 15 / 38

Idé: Gæt et punkt (x 0 P, y 0 P ). Da (x P, y P ) formodes at være tæt på (xp 0, y P 0 ) kan venstre side i ovenstående ligninger erstattes med den lineære approximation i punktet (xp 0, y P 0). Derved fås (inkonsistent) lineært ligningssystem med n ligninger. Lad (x 1 P, y 1 P ) være en mindste kvadraters løsning til dette ligningssytem. (xp 1, y P 1 ) er så forhåbentligt tættere på den rigtige løsning end vores første gæt var. AAS (I17) Anvendt Lineær Algebra 16 / 38

Gentag ovenstående med (x 0 P, y 0 P ) erstattet af (x 1 P, y 1 P ) og find derved (x 2 P, y 2 P ). Gentag indtil (x i P, y i P ) nærmer sig et bestemt punkt, som så er (x P, y P ). AAS (I17) Anvendt Lineær Algebra 17 / 38

Funktion af n variable F i (x 1, x 2,..., x n ): en funktion af n variable. x 0 = (x 0 1, x 2 2,..., x 0 n ): fast punkt/vektor. j i = (j i1, j i2,..., j in ) = F i (x 0 ) er gradientvektoren af F i i punktet x 0, hvor j il er F i x l udregnet i punktet x 0. For et punkt x = (x 1, x 2,..., x n ) i nærheden af x 0 er hvor b 0 i = F i (x 0 ). F i (x) F i (x 0 ) + F i (x 0 ) (x x 0 ) = b 0 i + j i (x x 0 ), AAS (I17) Anvendt Lineær Algebra 18 / 38

Vi har m observationer: F 1 (x 1,..., x n ) = b 1 F 2 (x 1,..., x n ) = b 2. F m (x 1,..., x n ) = b m. Venstresiderne erstattes af deres lineære approximationer i punktet x 0 : b 0 1 + j 1 (x x 0 ) = b 1 b 0 2 + j 2 (x x 0 ) = b 2. b 0 m + j m (x x 0 ) = b m. AAS (I17) Anvendt Lineær Algebra 19 / 38

j 1 (x x 0 ) = b 1 b 0 1. j m (x x 0 ) = b m b 0 m. På matrixform: A(x x 0 ) = b, hvor j 11 j 12... j 1n b 1 b1 0 j 21 j 22... j 2n A =... og b = b 2 b 0 2.. j m1 j m2... j mn b m bm 0 Med residualvektoren ˆr fås observationsligningen A(x x 0 ) = b + ˆr. A kaldes designmatricen. AAS (I17) Anvendt Lineær Algebra 20 / 38

6 5 4 y 3 2 1 0 0 1 2 3 4 5 6 7 x AAS (I17) Anvendt Lineær Algebra 21 / 38

Der er tre kendte punkter: (1, 3), (1, 1) og (5, 1) samt et ukendt punkt (x P, y P ) med afstande til de tre kendte punkter målt til henholdsvis 4, 6 og 5. F 1 (x, y) := (x 1) 2 + (y 3) 2 F 2 (x, y) := (x 1) 2 + (y 1) 2 F 3 (x, y) := (x 5) 2 + (y 1) 2 F 1 (x P, y P ) = 4, F 2 (x P, y P ) = 6, F 3 (x P, y P ) = 5. AAS (I17) Anvendt Lineær Algebra 22 / 38

j 1 = ( F 1 (xp 0, y P 0) = ) x 0 P 1, y 0 P 3 = (x 0 P 1) 2 +(yp 0 3)2 (x 0 P 1) 2 +(yp ( ) 0 3)2 j 2 = F 2 (xp 0, y P 0) = x 0 P 1, y 0 P 1 b2 0 ), j 3 = F 3 (x 0 P, y 0 P ) = ( x 0 hvor b 0 i = F i (x 0 P, y 0 P ). b2 0 P 5 b3 0, y 0 P 1 b 0 3 ( x 0 P 1 b 0 1 ), y 0 P 3 b1 0 AAS (I17) Anvendt Lineær Algebra 23 / 38

Vi gætter en første værdi (xp 0, y P 0 ) = (6, 5) og udregner b1 0 = F 1(6, 5) = (6 1) 2 + (5 3) 2 = 29 b2 0 = F 2(6, 5) = (6 1) 2 + (5 1) 2 = 41 b3 0 = F 1(6, 5) = (6 5) 2 + (5 1) 2 = 17 j 1 = ( 6 1 29, 5 3 29 ) = (0.927, 0.372) j 2 = ( 6 1 41, 5 1 41 ) = (0.781, 0.625) j 3 = ( 6 5 17, 5 1 17 ) = (0.242, 0.968) 4 29 1.39 b = 6 41 = 0.40 5 17 0.88 AAS (I17) Anvendt Lineær Algebra 24 / 38

Observationsligning (uden residualer): 0.927 0.372 1.39 0.781 0.625 (x x 0 ) = 0.40. 0.242 0.968 0.88 Normalligning (A T A(x x 0 ) = A T b): [ ] 1.531 1.068 (x x 1.068 1.469 0 ) = [ ] 1.388. 0.0847 Løsning: Altså: x 1 = x x 0 = [ ] [ ] x 1 P x 0 y 1 = P P y 0 + P [ ] 1.92. 1.46 [ ] 1.92 = 1.46 [ ] 4.078. 6.454 AAS (I17) Anvendt Lineær Algebra 25 / 38

Gentag med (xp 0, y P 0) erstattet af (x P 1, y P 1). [ ] [ ] [ ] [ ] x 2 Så fås: P x 1 = P 0.113 3.965 + =. 0.496 5.958 Dernæst: y 2 P y 1 P [ ] [ ] [ ] x 3 P x 2 y 3 = P 0.007 P y 2 + = P 0.00003 [ ] 3.958. 5.958 Så er F 1 (x 3 P, y 3 P ) = 4.183, F 2(x 3 P, y 3 P ) = 5.773, F 3(x 3 P, y 3 P ) = 5.066. AAS (I17) Anvendt Lineær Algebra 26 / 38

Vægtet mindste kvadraters metode For et lineært ligningssystem (af m ligninger med n ubekendte) Ax = b er en mindste kvadraters løsning ˆx en løsning til normalligningen (A T A)x = A T b. AAS (I17) Anvendt Lineær Algebra 27 / 38

Hvis 1 A =. og b = 1 b 1. b m så er A T A = m og A T b = b 1 +... + b m og derfor er ˆx = b 1 +... + b m, m altså (ikke-vægtet) gennemsnit af b 1,..., b m. Det vægtede gennemsnit af b 1,..., b m med vægte hhv. c 1,..., c m (hvor c 1,..., c m er positive tal) er c 1 b 1 +... + c m b m c 1 +... + c m. AAS (I17) Anvendt Lineær Algebra 28 / 38

Betragt nu et ligningssystem af m ligninger med n ubekendte Ax = b. De m ligninger (observationer) tildeles vægte c 1,..., c m som skrives i en matrix c 1 0... 0 0 c 2... 0 C =.... 0 0... c m Som vægte kan vi bruge c i = 1 σi 2 eventuelt c i = konst. 1. σi 2 hvor σ 2 i er variansen af den i te observation, eller Skrives også (i Lay) som wi 2 = c i hvor w i = 1 σ i og w 1 0... 0 0 w 2... 0 W =.... 0 0... w m Så er W T W = WW = C. AAS (I17) Anvendt Lineær Algebra 29 / 38

Hvis vægtene c 1,..., c m er hele tal (positive) så svarer det vægtede ligningssystem til at betragte (ikke-vægtet) ligningssystem Ãx = b, hvor ligning nr. i fra ligningssystemet Ax = b skrives c i gange. En mindste kvadraters løsning til det nye ligningssystem er en løsning til normalligningen à T Ãx = ÃT b. AAS (I17) Anvendt Lineær Algebra 30 / 38

Eksempel: A = a b c d e f, b = r s t, C = 2 0 0 0 1 0 0 0 3. Så kan vi betragte à = a b a b c d e f e f e f, b = r r s t t t. AAS (I17) Anvendt Lineær Algebra 31 / 38

Normalligningen for ligningssystemet Ãx = b er à T Ãx = ÃT b. Da ÃT à = A T CA og ÃT b = A T Cb er denne ligning ækvivalent med A T CAx = A T Cb. AAS (I17) Anvendt Lineær Algebra 32 / 38

Det vægtede ligningssytem Ax = b med generelle vægte har normalligning A T CAx = A T Cb. En vægtet mindste kvadraters løsning til Ax = b er en løsning til normalligningen. AAS (I17) Anvendt Lineær Algebra 33 / 38

I observationsligningen Aˆx = b + ˆr indgår residual vektoren ˆr = 1 ˆr.. ˆr m Vi udregner c 1 0... 0 ˆr T 0 c 2... 0 1 Cˆr = [ˆr 1... ˆr m ] ˆr.... = ˆr 0 0... c m m c 1ˆr 1 [ˆr 1... ˆr m ]. = c 1ˆr 1 2 +... + c mˆr m. 2 c mˆr m Dette er kvadratet på den vægtede længde af vektoren ˆr. Altså kvadratet på den vægtede afstand mellem Aˆx og b. En vægtet mindste kvadraters løsning er en vektor x som minimerer ˆr T Cˆr = (Ax b) T C(Ax b). AAS (I17) Anvendt Lineær Algebra 34 / 38

Eksempel. Hvis 1 A =., b = 1 b 1. b m og C = c 1 0... 0 0 c 2... 0... 0 0... c m så er A T CA = c 1 +... + c m og A T Cb = c 1 b 1 +... + c m b m og den vægtede mindste kvadraters løsning er derfor det vægtede gennemsnit ˆx = c 1b 1 +... + c m b m c 1 +... + c m. AAS (I17) Anvendt Lineær Algebra 35 / 38

Eksempel. Find linie y = αx + β der passer bedst til punkterne med vægte hhv. 1, 5, 1, 5, 1. (1, 3), (2, 5), (3, 9), (4, 12), (5, 14) Vi betragter ligningssystemet 1 1 3 1 2 [ ] 1 3 β 5 = 1 4 α 9 12. 1 5 14 AAS (I17) Anvendt Lineær Algebra 36 / 38

Normalligningen: [ (A T β CA) = A α] T Cb. Den vægtede mindste kvadraters løsning er [ ] β = (A T CA) 1 A T Cb = α [ ] 0.96. 3.17 Den vægtede mindste kvadraters linie har ligning y = 3.17x 0.96. Denne linie er grøn på næste side. Den ikke-vægtede mindste kvadraters linie er rød på næste side. AAS (I17) Anvendt Lineær Algebra 37 / 38

15 10 5 0 1 2 3 4 5 6 x AAS (I17) Anvendt Lineær Algebra 38 / 38