Ekstrema: Teori og praksis Ubegrænset, ikke-lineær optimering

Transkript

1 Ekstrema: Teori og praksis Ubegrænset, ikke-lineær optimering Gruppe G3-106 Aalborg Universitet Institut for Matematiske Fag 20. december 2012

2

3 Institut for Matematiske Fag Fredrik Bajers Vej 7G 9220 Aalborg Øst Titel: Ekstrema: Teori og praksis Tema: Ubegrænset, ikke-lineær optimering Projektperiode: P3, efterårssemesteret 2012 Projektgruppe: G3-106 Deltagere: Tobias Olsson Martin Baun Zeineb Al-Jawahri Daniel Harald Jensen Heidi Søgaard Christensen Ane Dalsgaard Vejleder: Lisbeth Fajstrup Synopsis: I projektet beskrives, hvordan udvalgte ikke-lineære optimeringsmetoder løser ubegrænsede optimeringsproblemer. Der formuleres og bevises centrale matematiske resultater indenfor ikkelineær optimering. Projektet er ikke direkte problembaseret, men beskriver til gengæld teorien bag bestemte optimeringsmetoder, og under hvilke forudsætninger disse metoder virker, samt en kort sammenligning af forskellige metoder. Til slut i projektet gives et eksempel på ikke-lineær optimering. Oplagstal: 9 Sidetal: 90 Afsluttet den Rapportens indhold er frit tilgængeligt, men offentliggørelse (med kildeangivelse) må kun ske efter aftale med forfatterne.

4

5 Forord Hermed foreligger P3-projektet skrevet af gruppe G3-106 på matematik- og statistikuddannelsens 3. semester, Det Teknisk- og Naturvidenskabelige Fakultet ved Aalborg Universitet, i perioden 3. september til 20. december Semestrets overordnede tema er Ekstrema: Teori og praksis. I den forbindelse tages der i nærværende projekt udgangspunkt i ubegrænset, ikke-lineær optimering. Herunder er der fokus på gradientmetoden og Newtons metode til at finde kritiske punkter for en funktion samt Hesse-matricen til klassificering af de kritiske punkter. Desuden har vi beskrevet mindste kvadraters metode, der er et konkret eksempel på ubegrænset, ikke-lineær optimering fra den virkelige verden. Projektet henvender sig til andre interesserede, der ved at læse dette projekt kan få større indblik i ubegrænset, ikke-lineær optimering. Under udarbejdelsen af projektet er projektgruppen blevet vejledt af Professor Lisbeth Fajstrup. Derfor skal der lyde en tak til hende for det gode samarbejde. Tobias Olsson Daniel Harald Jensen Martin Baun Heidi Søgaard Christensen Zeineb Al-Jawahri Ane Dalsgaard

6 Læsevejledning Dette projekt er opbygget af tre centrale kapitler, som anbefales at læses kronologisk. Nedenstående er en overordnet beskrivelse af de forskellige kapitlers indhold. Kapitel 1: Grundlæggende teori Her beskrives de grundlæggende teorier, der er essentielle for at kunne gå i dybden med de optimeringsmetoder, som projektet har fokus på. Først introduceres konvergens af følger og funktioner for at kunne definere kontinuitet og differentiabilitet. Dette leder op til teori om kritiske punkter og ekstrema. For at udtrække nødvendig information om de kritiske punkter, introduceres definit, semidefinit og indefinit matricer, Taylorpolynomier samt konvekse/konkave funktioner. Taylorpolynomier er essentielle i flere af beviserne for optimeringsmetoderne, og konvekse og konkave funktioner giver en garanti for, at der findes hhv. globale minimum og maksimum. Definit, semidefinit og indefinit matricer bruges i klassificeringen af de kritiske punkter. Kapitel 2: Optimeringsmetoder Optimeringsmetoder præsenteres indledningsvist overordnet, hvorefter der lægges fokus på de to descentmetoder; gradientmetoden og Newtons metode samt forskellige teorier, der er essentielle for disse metoder. Begge metoder benyttes til at finde kritiske punkter for en funktion. Hesse-matricen beskrives afslutningsvist, da denne kan benyttes til at klassificere de kritiske punkter.

7 Kapitel 3: Anvendelse Der gives i dette kapitel et praktisk eksempel på ubegrænset, ikke-lineær optimering for at relatere denne gren af optimering til et virkeligt scenarie. Projektet indledes med afsnittet indledning, der fungerer som en lille forsmag på, hvad projektet handler om. Ligeledes afsluttes projektet med afsnittet afrunding, der samler op på projektet, samt kommer med forslag til, hvad vi i stedet kunne fokusere på eller arbejde videre med. Projektet afsluttes med en litteraturliste. Figurer, der i projektet er angivet uden kilder, er udarbejdet af projektgruppen. Der refereres til anvendte kilder efter teksten, og ved definitioner/sætninger/beviser, der er direkte oversat refereres til sidetal. Hvis kilden bruges mere generelt i afsnittet vil der blot laves en kildereference til slut i afsnittet.

8

9 Indhold 1 Grundlæggende teori Konvergens Konvergens for talfølger Konvergens for funktioner Kontinuitet Differentiabilitet Differentiabilitet - flere variable Ekstrema Fortætningspunkter Definit Taylorpolynomier Taylorpolynomier - flere variable Konveks Optimeringsmetoder Descent-metoder Lipschitz-betingelsen Gradientmetoden Valg af trinlængde Newton-Raphsons metode Newtons metode Newtons metode - flere variable Hesse-matrix Anvendelse Mindste kvadraters metode Litteratur 89

10

11 Introduktion Optimering er en matematisk disciplin, der ser sin anvendelse i mange af livets sammenhænge. Der er tale om optimering, når det eksempelvis ønskes at finde den kortest mulige vej, at bruge færrest mulige ressourcer, at finde den billigste kombination af fødevarer, eller at investere penge, så de giver størst muligt afkast. Det handler kort sagt om, at der ønskes et minimalt eller maksimalt udfald af et scenarie, der kan være underlagt nogle bibetingelser. Eksempelvis kan den billigste kombination af fødevarer eller ressourcer ikke tillægges nogen negativ værdi. I nærværende projekt vil vi beskæftige os med ikke-lineære metoder indenfor optimering. Indledningsvist i projektet vil den grundlæggende teori, der ligger til grund for at kunne forstå optimeringsmetoder, blive beskrevet. Herefter vil vi gå nærmere ind på udvalgte optimeringsmetoder. Det vil blive tydeliggjort, hvordan og hvorfor, de forskellige metoder virker, samt under hvilke forudsætninger. Eksempler vil indgå, men fokus vil hovedsageligt være på teorien; definitioner, sætninger og beviser. 2

12 Kapitel 1 Grundlæggende teori Optimering er et område indenfor matematikken, der handler om at finde det punkt, der giver den optimale funktionsværdi i forhold til optimeringsproblemet. Optimeringsproblemer kan opstilles vha. funktioner, hvor det ønskes at bestemme ekstrema for den givne problemstilling. Afhængig af problemstillingens karakter ønskes den pågældende funktion minimeret eller maksimeret. Variablerne i funktionen kan være pålagt en række bibetingelser bestemt af problemets natur. Dette vil vi dog ikke beskæftige os med i nærværende projekt, da der vil blive fokuseret på ubegrænset optimering. Optimeringsproblemer kan generelt præsenteres som følger. Givet en funktion f : A R, hvor A R, søges et minimum eller maksimum, x 0 A, som opfylder f(x) f(x 0 ) eller f(x) f(x 0 ) for alle x A. Et sådant punkt x 0 kaldes et ekstremumspunkt, og den tilsvarende funktionsværdi f(x 0 ), kaldes et ekstremum. Følgende tre betingelser, gør sig da gældende: Hvis f(x) f(x 0 ) eller f(x) f(x 0 ) for alle x i definitionsmængden for f, siges f(x 0 ) at være et globalt esktremum. Hvis funktionen f er kontinuert og defineret på et begrænset og lukket interval I = [a, b], antager f såvel maksimum og minimum på I. Hvis f er differentiabel, x 0 I er et lokalt ekstremumspunkt, og der gælder, at f(x) f(x 0 ) eller f(x) f(x 0 ) for alle x i intervallet, da er f (x 0 ) = 0. 3 (Wiki-Optimering, 2012)

13 1.1. KONVERGENS KAPITEL 1. GRUNDLÆGGENDE TEORI Som det fremgår af ovenstående er en grundlæggende forståelse for differentiabilitet, kontinuitet og ekstrema nødvendig for at kunne forstå og løse et optimeringsproblem. Af den grund vil der i det følgende ses nærmere på disse begreber. Desuden vil begreber som; konvergens, definit, indefinit og semidefinit, konkave og konvekse funktioner og Taylorpolynomier blive beskrevet, da de alle spiller en essentiel rolle i de metoder, der efterfølgende vil blive beskrevet og benyttet i kapitel 2. Nærværende kapitel vil derfor være med til at give det nødvendige matematiske grundlag for efterfølgende at kunne gå i dybden med forskellige metoder indenfor matematisk optimering. 1.1 Konvergens Konvergens er et vigtigt begreb indenfor optimering, da det ikke altid er ligetil at bestemme ekstrema direkte, hvorfor man bestemmer en approksimeret værdi ved hjælp af konvergente følger. At konvergere betyder at nærme sig noget mere og mere. Matematisk snakker man om, at talfølger og funktioner konvergerer - altså at de nærmer sig en bestemt værdi, som kaldes en grænseværdi. Såvel konvergens for talfølger som for funktioner vil i dette projekt blive brugt som basis for anden teori og metoder Konvergens for talfølger En følge af reelle tal {x n } siges at konvergere mod et tal a, hvis x n nærmer sig a, når n bliver større. Formelt defineres grænseværdien for en følge, som gjort i nedenstående definition. Definition 1.1 En talfølge af reelle tal {x n } siges at konvergere mod a R, hvis og kun hvis der, for ethvert ε > 0, findes et N N (som generelt afhænger af ε), sådan at n N medfører, at x n a < ε (Wade, 2010, s. 41) Per definition ses det, at {x n } konvergerer mod a, hvis og kun hvis x n a 0, når n. Hvis {x n } konvergerer mod a, når n, siges a at være følgens grænseværdi. For at bevise at en bestemt grænseværdi eksisterer, skal man ifølge Definition 1.1, ved et givet 4

14 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.1. KONVERGENS vilkårligt ε > 0, beskrive, hvorledes der vælges et N, sådan at n N medfører, at x n a < ε. De følgende to eksempler illustrerer, hvorledes man ved brug af Definition 1.1 kan bestemme, om en følge konvergerer mod en given grænseværdi. Eksempel 1.2. Bevis, at 1/n 0, når n. Lad ε > 0. Vi vælger N N, således at N > 1/ε. Ved at tage den reciprokke af uligheden, har vi for n N, at 1/n 1/N < ε. Da 1/n > 0, følger det, at 1/n 0 = 1/n < ε for alle n N. Ifølge Definition 1.1 konvergerer 1/n således mod 0, for n. Eksempel 1.3. Hvis x n 2, vis at (5x n + 2)/x n 6, når n. Ifølge Definition 1.1 skal der findes et ε > 0, således at 5x n x n = 2 x n < ε for n N (1.1) x n Lad ε > 0. Da x n 2, findes ifølge Definition 1.1 et N 1 N, sådan at n N 1 medfører, at x n 2 < ε. Efterfølgende brug Definition 1.1 for ε = 1 til at bestemme N 2, således at n N 2 medfører, at x n 2 < 1. At x n 2 < 1 er ensbetydende med 1 < x n 2 < 1, dvs., at n N 2 medfører, at x n > 1. Lad N = max{n 1, N 2 }, og antag n N. Betragt nu den sidste brøk i (1.1). Eftersom n N 1 er 2 x n = x n 2 < ε. Da n N 2, er 0 < 1/(x n ) < 1. Det følger således, at 5x n x n = 2 x n x n < ε x n < ε for alle n N Ifølge Definition 1.1 har vi dermed vist, at (5x n + 2)/x n konvergerer mod 6, når n. I Eksempel 1.2 og 1.3 betragtedes to følger, for hvilke det blev vist, at den pågældende følge konvergerer mod én given grænseværdi. Faktisk har en følge enten én grænseværdi eller ingen. Følgende er et eksempel på en følge, som ikke har en grænseværdi. Eksempel 1.4. Vis, at følgen cos(πn) for n N ikke har en grænseværdi. Antag, at cos(πn) a, når n for et a R. Lad ε = 1, så er der ifølge Definition 1.1 et N N, som medfører, at cos(πn) a < ε for n N. For n ulige medfører dette, at 1 + a = 1 a < 1, og for n lige medfører det, at 1 a < 1. Dermed har vi, at 2 = a a < = 2 5

15 1.1. KONVERGENS KAPITEL 1. GRUNDLÆGGENDE TEORI Det fås altså, at 2 < 2, hvilket er en modstrid. Derfor har følgen ikke en grænseværdi. Hvis man skal evaluere grænseværdier for komplicerede følger, kan dette gøres ved at se på følgens komponenter. Følgende sætning indeholder nogle regneregler for følger og deres grænseværdier. Sætning 1.5 Antag, at {x n } og {y n } er reelle følger, og at α R. Hvis {x n } og {y n } konvergerer mod en grænseværdi, gælder det, at i) ii) iii) iv) lim (x n + y n ) = lim x n + lim y n n n n lim (αx n) = α lim x n n n lim (x ny n ) = ( lim x n)( lim y n) n n n Desuden, hvis y n 0 og lim n y n 0, gælder det, at x n lim = lim n x n n y n lim n y n (Wade, 2010, s. 47) Følgende er et eksempel på, hvordan Sætning 1.5 kan bruges til at evaluere grænseværdier. 2n Eksempel 1.6. Beregn lim n 3n 2 Ved at forlænge brøken med 1/n 2 fås, at 2n n 2 = 2 + 1/n2 3 6

16 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.1. KONVERGENS Fra Eksempel 1.2 og Sætning 1.5iii har vi, at 1/n k = (1/n) k 0 for n for ethvert k N. Dermed fås fra Sætning 1.5i og iv, at 2n /n 2 lim n 3n 2 = lim n 3 = lim n 2 + lim n 1/n 2 lim n 3 = = 2 3 Det er ikke kun interessant at beskæftige sig med grænseværdier for reelle talfølger, men det er ligeledes essentielt at se på grænseværdier for reelle funktioner. Af den grund vil der i det følgende afsnit blive gennemgået en udvalgt del af teorien om grænseværdier for reelle funktioner Konvergens for funktioner En funktion siges at konvergere mod en grænseværdi L, når x nærmer sig a, hvis f(x) er tæt på L, når x er tæt på a. Formelt defineres konvergens for funktioner som gjort i følgende definition. Definition 1.7 Lad a R og I være et åbent interval indeholdende a. Lad f være en reel funktion defineret på hele I med mulig undtagelse i a. Så siges f(x) at konvergere mod L, når x nærmer sig a, hvis og kun hvis der for ethvert ε > 0 findes et δ > 0 (som generelt afhænger af ε, f, I og a), således at 0 < x a < δ medfører, at f(x) L < ε (1.2) I så fald bruges notationen L = lim x a f(x) eller f(x) L, når x a og L siges at være grænseværdien for f(x), når x går mod a. (Wade, 2010, s. 68) Definition 1.7 fortæller ikke, hvorledes man finder grænseværdien, men den gør det muligt at bestemme, hvorvidt en given værdi er en funktions grænseværdi eller ej. Ifølge definitionen 7

17 1.1. KONVERGENS KAPITEL 1. GRUNDLÆGGENDE TEORI skal man ud fra et generelt ε > 0 beskrive, hvordan der findes et δ, som opfylder (1.2). Det nedenstående eksempel illustrerer, hvordan dette gøres i praksis. Eksempel 1.8. Lad f(x) = mx + b, hvor m, x R. Vis, at f(a) = lim x a f(x) for alle a R Hvis m = 0 er f(x) = b. Grænseværdien for en konstant funktion er blot konstanten selv, så dermed er lim x a f(x) = f(a) = b, når m = 0. Antag m 0. Givet ε > 0, vælg δ = ε/ m. Hvis x a < δ, så er f(x) f(a) = mx + b (ma + b) = m(x a) = m x a < m δ = ε Ifølge Definition 1.7 vil f(x) f(a), når x a. Eksempel 1.9. Lad f(x) = x 2 + x 3. Vis, at f(x) 1, når x 1. Lad ε > 0 og L = 1. Så er f(x) L = x 2 + x 3 ( 1) = x 2 + x 2 = (x 1)(x + 2) Hvis 0 < δ 1, så vil x 1 < δ medføre, at 0 < x < 2. Ifølge trekantsuligheden fås det, at x + 2 x + 2 < 4. Vælg δ = min{1, ε/4}. Det følger, at hvis x 1 < δ, så er f(x) L = x 1 x + 2 < 4 x 1 < 4δ ε Per definition fås dermed, at lim x 1 f(x) = 1. Når en funktions grænseværdi skal bestemmes kan dette ofte gøres ved at dele funktionen op i et antal udtryk, for hvilke grænseværdien umiddelbart kan evalueres. Analogt til konvergens for følger findes der for funktioner en række regneregler, som kan bruges til at bestemme om en funktions grænseværdi eksisterer og i så fald til at bestemme grænseværdien. Et udvalg af disse regneregler findes i nedenstående sætning. 8

18 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.1. KONVERGENS Sætning 1.10 Antag, at a R, at I er et åbent interval indeholdende a, og at f, g er reelle funktioner defineret på hele I, dog med mulig undtagelse af a. Hvis f(x) og g(x) konvergerer, når x går mod a, så vil (f + g)(x), (fg)(x), (αf)(x) og (f/g)(x) (når grænseværdien for g(x) er forskellig fra nul) konvergere. For disse funktioner gælder det desuden, at i) ii) iii) iv) lim(f + g)(x) = lim f(x) + lim g(x) x a x a x a lim(αf)(x) = α lim f(x) x a x a lim(fg)(x) = lim f(x) lim g(x) x a x a x a Desuden, hvis grænseværdien for g(x) er forskellig fra nul, gælder det, at lim x a ( ) f (x) = g lim f(x) x a lim g(x) (1.3) x a (Wade, 2010, s. 72) Ensidede grænser I dette afsnit udvides definitionen for en reel funktions grænseværdi fra afsnit til at omfatte mere generelle situationer. Hvorfor er Definition 1.7 ikke tilstrækkelig? Som eksempel ønskes det at evaluere grænseværdien for funktionen f(x) = x 2, når x 2. Det er naturligt at forvente, at grænseværdien er lig nul, men bemærk, at f(x) ikke opfylder antagelserne i Definition 1.7, da funktionen ikke er defineret på et åbent interval indeholdende a = 2. Faktisk er f kun defineret for x 2. Det er i sådanne situationer, at det er nødvendigt at betragte funktionens ensidede grænser. Definition 1.11 Lad a R og lad f : V R, hvor V R. 9

19 1.1. KONVERGENS KAPITEL 1. GRUNDLÆGGENDE TEORI i) f(x) siges at konvergere mod L, når x nærmer sig a fra højre, hvis f er defineret på et åbent interval I med a som venstre endepunkt, og der for ethvert ε > 0 er et δ > 0 (som generelt afhænger af ε, f, I og a), således at a + δ I og a < x < a + δ medfører, at f(x) L < ε I dette tilfælde siges L at være den højresidede grænseværdi for f i a. Dette noteres f(a+) = L = lim x a+ f(x) ii) f(x) siges at konvergere mod L, når x nærmer sig a fra venstre, hvis f er defineret på et åbent interval I med a som højre endepunkt, og der for ethvert ε > 0 er et δ > 0 (som generelt afhænger af ε, f, I og a), således at a δ I og a δ < x < a medfører, at f(x) L < ε I dette tilfælde siges L at være den venstresidede grænseværdi for f i a. Dette noteres f(a ) = L = lim x a f(x) (Wade, 2010, s. 77) Resultaterne fra afsnit gælder ikke kun for tosidede grænseværdier 1 men ligeledes for ensidede grænseværdier. Eksistensen af ensidede grænser kan vises enten vha. disse sætninger eller direkte ud fra definitionen. Desuden er sammenhængen mellem tosidede grænseværdier og ensidede grænser givet ved følgende sætning. Sætning 1.12 Lad f : I\{a} R, hvor I R. Så eksisterer lim x a f(x) og er lig L, hvis og kun hvis L = lim f(x) = lim f(x) (1.4) x a+ x a (Wade, 2010, s.78) 1 Tosidede grænseværdier blev beskrevet i afsnit 1.1.2, men blev i pågældende afsnit blot benævnt grænseværdi. 10

20 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.2. KONTINUITET Følgende eksempel illustrerer, hvorledes man kan bestemme ensidede grænser. Eksempel Lad f(x) = x 2. Bestem lim f(x) og lim x 2 +x 6 f(x). x 2+ x 2 Bemærk, at regnereglerne fra Sætning 1.10 og resultatet fra Eksempel 1.7 anvendes i følgende udregninger uden yderligere forklaring. at Observer, at for x > 2 er x 2 = x 2, og for x < 2 er x 2 = (x 2). Dermed fås, lim f(x) = lim x 2+ x 2+ x 2 x 2 + x 6 = lim x 2+ x 2 (x 2)(x + 3) = lim x 2+ 1 x + 3 = 1 5 og lim f(x) = lim x 2 x 2 (x 2) x 2 + x 6 = lim x 2 (x 2) (x 2)(x + 3) = lim x 2 1 x + 3 = 1 5 Da lim f(x) lim f(x) eksisterer grænseværdien lim f(x) ikke ifølge Sætning x 2+ x 2 x 2 For at være i stand til at finde minimum og maksimum for funktioner, er et indgående kendskab til kontinuitet og differentiablitet nødvendigt, og disse begreber vil derfor blive præsenteret i de følgende afsnit. 1.2 Kontinuitet Lidt løst sagt siges en funktion at være kontinuert, hvis den ikke overspringer værdier, dvs. at dens graf forløber ubrudt, uden huller eller spring. Formelt defineres kontinuitet i hhv. et punkt og på et interval som følger. Definition 1.14 Lad I være en ikke-tom delmængde af R og f : I R. Så er i) f kontinuert i punktet a I, hvis og kun hvis der ved et givet ε > 0 er et δ > 0 (som generelt afhænger af ε, f og a), sådan at x a < δ og x I medfører, at f(x) f(a) < ε ii) f kontinuert på I, hvis og kun hvis f er kontinuert i alle punkter x I 11

21 1.2. KONTINUITET KAPITEL 1. GRUNDLÆGGENDE TEORI (Wade, 2010, s. 83) Ifølge Definition 1.7 og Definition 1.14 følger det, at hvis I er et åbent interval indeholdende a, så er formuleringen f kontinuert i a I ækvivalent med f(x) f(a), når x a. At disse to formuleringer er ækvivalente følger af næste sætning. Sætning 1.15 Lad I være et åbent interval indeholdende a og f : I R. Så er f kontinuert i a I, hvis og kun hvis f(a) = lim x a f(x) Ved at kombinere Sætning 1.10 og 1.15 fås følgende sætning. (Wade, 2010, s. 83) Sætning 1.16 Lad I være en ikke tom delmængde af R. Hvis f, g er kontinuerte i punktet a I (hhv. kontinuert på mængden I), så er f + g, fg og αf (for ethvert α R) kontinuerte. Desuden er f/g kontinuert i a I, når g(a) 0 (hhv. på I, når g(x) 0 for alle x I). (Wade, 2010, s. 84) Denne sætning kan være nyttig, når man skal bestemme, hvorvidt en funktion af kontinuert eller ej, da man kan betragte kontinuiteten af de komponenter, funktionen består af, hver for sig. Hvis en funktion f.eks. kan deles op i polynomier, er det let at bestemme, hvorvidt funktionen er kontinuert eller ej, da polynomier er kontinuerte på hele R. En funktion siges at være diskontinuert i et punkt a, hvis ikke den er kontinuert i a. Følgende eksempel illustrerer såvel kontinuitet som diskontinuitet for en funktion. Eksempel Vis, at funktionen x x f(x) =, når x 0 1, når x = 0 12

22 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.3. DIFFERENTIABILITET er kontinuert på (, 0) og [0, ), samt at den er diskontinuert i 0, og at både f(0+) og f(0 ) eksisterer. Da f(x) = 1 for x 0, er det tydeligt, at f(0+) = 1 eksisterer, og f(x) f(a), når x a for ethvert a > 0. Så f er kontinuert på [0, ). Ligeledes er f(0 ) 1 og f er kontinuert på (, 0). Da f(0+) f(0 ), eksisterer grænseværdien for f(x) ikke, når x 0 ifølge Sætning Derfor er f ikke kontinuert i Differentiabilitet Differentiabilitet er et vigtigt element indenfor optimering. I nærværende afsnit vil konceptet indledningsvist blive præsenteret for funktioner af én variabel og efterfølgende udvides til funktioner af flere variable. Følgende definition definerer differentiabilitet i et punkt. Definition 1.18 Funktionen f siges at være differentiabel i et punkt a R, hvis f er defineret på et åbent interval I indeholdende a, og grænseværdien f (a) = lim h 0 f(a + h) f(a) h eksisterer. Så kaldes f (a) den afledte af f i a. (Wade, 2010, s. 98) Den afledte f til f i punktet a kan betragtes geometrisk, idet f (a) svarer til hældningen for tangentlinjen for f i a. Definitionsmængden D(f ) til den afledte f defineres som følger. Definition 1.19 D(f ) er mængden af alle x D(f), hvor grafen for f har en ikkevertikal tangentlinje. 13 (Adams and Essex, 2010, s. 99)

23 1.3. DIFFERENTIABILITET KAPITEL 1. GRUNDLÆGGENDE TEORI D(f ) kan være mindre end D(f), da D(f ) kun indeholder de punkter i D(f), for hvilke f er differentiabel. Hvis f er differentiabel i ethvert punkt i en mængde I, da er f en funktion på I. Den afledte af funktionen f noteres som D x = df dx = f (1) = f Højere ordens afledede (forudsat eksistensen af disse) kan defineres rekursivt for n N som f (n+1) (x) = (f (n) ) (x) Højere ordens afledede for en funktion f af én variabel kan tilsvarende noteres som D x n f = dn f dx n = f (n) Antag eksempelvis, at en funktion f har den anden afledte f (2) i et punkt a, da siges f at være to gange differentiabel i a. Bemærk, at det kun giver mening at tale om den andenordens afledte i a, hvis f er differentiabel i en omegn af a, da det ellers ikke er muligt at lave differenskvotienten (f (a + h) f (a))/h. En anden måde at karakterisere differentiabilitet på er vha. lineære approksimationer (altså hvor godt f(a + h) f(a) kan beskrives af en lige linje gennem origo), som gjort i følgende sætning. Sætning 1.20 En reel funktion f er differentiabel i a, hvis og kun hvis der er en funktion T af formen T (x) = mx, således at f(a + h) f(a) T (h) lim = 0 (1.5) h 0 h Bevis Antag, at f er differentiabel, og lad m = f (a). Da følger det fra Definition 1.18, at f(a + h) f(a) T (h) h = f(a + h) f(a) h f (a) 0, når h 0. Antag nu, at (1.5) gælder for T (x) = mx og h 0, da fås, at f(a + h) f(a) h f(a + h) f(a) mh = m + h f(a + h) f(a) T (h) = m + h 14

24 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.3. DIFFERENTIABILITET Det følger således fra (1.5), at (f(a + h) f(a))/h m, når h 0 - altså eksisterer f (a) og er lig m. Den næste sætning viser relationen mellem differentiabilitet og kontinuitet. (Wade, 2010, s. 100) Sætning 1.21 Hvis f er differentiabel i a, da er f kontinuert i a. Bevis Antag at f er differentiabel i a. Lad I være et åbent interval indeholdende a, og definer funktionen F : I R ved F (x) = { f(x) f(a) x a f (a) for x a for x = a så er f(x) = F (x)(x a) + f(a) for alle x I. Da f er differentiabel i a, er f(x) f(a) lim = f (a) x a x a og dermed er F (x) kontinuert i a. Heraf følger, at f(x) = F (x)(x a) + f(a) er kontinuert i a. (Wade, 2010, s. 100) Det følger af Sætning 1.21, at enhver funktion, som ikke er kontinuert i a, heller ikke kan være differentiabel i a. Bemærk desuden, at der er forskel på om en funktion er differentiabel i et punkt, eller om en funktion er differentiabel på et interval. Definition 1.22 Lad I være et ikke-degenereret interval. i) En funktion f : I R siges at være differentiabel på intervallet I, hvis f I(a) = lim x a fx) f(a) x a for x I eksisterer og er endelig for ethvert a I. ii) f siges at være kontinuert differentiabel på I, hvis f I I. eksisterer og er kontinuert på 15

25 1.3. DIFFERENTIABILITET KAPITEL 1. GRUNDLÆGGENDE TEORI (Wade, 2010, s. 102) Grafen for en differentiabel funktion er altid jævn uden knæk, hvorimod grafen for en kontinuert funktion kan have knæk. Der ses nu på en funktion, som illustrerer, at en kontinuert funktion ikke nødvendigvis er differentiabel. Eksempel Vis, at funktionen f(x) = x er kontinuert i 0, men ikke differentiabel i 0. Figur 1.1: f(x) = x Da x 0 medfører, at x 0, følger det, at f er kontinuert. På den anden side, når h > 0, er h = h, og når h < 0, er h = h. Det fås, at og f(h) f(0) lim = 1 h 0+ h f(h) f(0) lim = 1 h 0 h Da grænseværdien kun eksisterer, hvis de énsidede grænser eksisterer og er lig hinanden, så eksisterer grænseværdien ikke, når x 0. Ifølge Definition 1.18 er f dermed ikke differentiabel i 0. (Wade, 2010, s. 101) De ovenstående sætninger og definitioner om differentiabilitet er fundamentale for adskillige andre sætninger, der benyttes i optimering, samt anden grundlæggende teori til at forstå optimering. I flere af optimeringsmetoderne benyttes de partielt afledede, som hænger sammen med differentiabilitet af flere variable, hvilket vil blive præsenteret i følgende afsnit. 16

26 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.3. DIFFERENTIABILITET Differentiabilitet - flere variable Funktioner af flere variable optræder i mange sammenhænge. For eksempel afhænger en cylinders volumen både af cylinderens radius r og dens højde h. Cylinderens volumen V er således givet ved V = πr 2 h, hvor V siges at være en funktion af de to variable r og h. Hvis denne funktion betegnes f, kan vi skrive V = f(r, h), hvor f(r, h) = πr 2 h for r 0 og h 0 D(f) består af alle de punkter i rh-planet med koordinater (r, h), som opfylder r 0 og h 0. Et andet eksempel på en funktion f af tre variable x, y, z er w = f(x, y, z) = x + 2y 3z, hvor D(f) R 3. For funktioner af flere variable er det i mange sammenhænge nyttigt at betragte raten for ændringer i funktionsværdien mht. en variabel ad gangen, som er givet ved de partielt afledede. En funktion af n variable har således n partielt afledede. Den første ordens partielt afledte af en funktion y = f(x) med hensyn til den i te variabel noteres på følgende forskellige måder. f i = f xi = y x i = x i f(x) = D i f(x) Lignende notation anvendes, hvis de partielt afledede bestemmes i et punkt a. Et udpluk af disse notationer er f i (a) = y ( x i = f(x)) = D i f(a) (a) x i (a) (Adams and Essex, 2010) For en funktion af flere variable kan der opstilles følgende definition for de partielt afledede. Definition 1.24 Lad V være en åben delmængde af R n og f : V R. Så eksisterer den partielt afledte mht. den i te variabel f xi eksisterer. i et punkt a V, hvis grænsen f(a + he i ) f(a) f(a) = lim x i h 0 h 17 (Wade, 2010, s. 383)

27 1.3. DIFFERENTIABILITET KAPITEL 1. GRUNDLÆGGENDE TEORI Højere ordens partielt afledede defineres ved iteration. Som eksempel betragtes andenordens partielt afledede. Hvis den andenordens partielt afledte for f mht. x j og x k eksisterer, er den defineret ved f xj x k = 2 f x k x j = x k ( ) f Vær opmærksom på, at notationen angiver rækkefølgen af differentiation; f xj x k x j indikerer, at der først differentieres mht. den j te variabel og derefter mht. den k te variabel, hvor f xk x j indikerer den omvendte rækkefølge. Når x j x k siges den partielt afledte at være blandet. Følgende eksempel illustrerer, hvordan andenordens partielt afledede beregnes i praksis. Eksempel Find de fire andenordens partielt afledede til f(x, y) = x 3 y 4. f 11 (x, y) = x (3x2 y 4 ) = 6xy 4 f 12 (x, y) = x (3x2 y 4 ) = 12x 2 y 3 f 21 (x, y) = x (4x3 y 3 ) = 12x 2 y 3 f 22 (x, y) = x (4x3 y 3 ) = 12x 3 y 2 Følgende definition letter notationen for funktioner, hvis partielt afledede op til en given orden eksisterer og er kontinuerte. Definition 1.26 Lad V være en ikke-tom, åben delmængde af R n, f : V R m og p N. i) f siges at være C p på V, hvis hver partielt afledte af f med orden k p eksisterer og er kontinuert på V. ii) f siges at være C på V, hvis f er C p for alle p N. (Wade, 2010, s. 102) Hvis f er C p på V (noteres også f C p (V )) betyder det, at f s partielt afledede eksisterer op til en orden p, og at disse er kontinuerte på V. Bemærk, at de to blandede partielt afledede, f 12 og f 21, i Eksempel 1.25 er ens, hvilket er et generelt fænomen for blandede partielt afledede, når disse er kontinuerte. Følgende sætning vil vise sig relevant for Hesse-matrix (afsnit 2.6). 18

28 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.3. DIFFERENTIABILITET Sætning 1.27 Antag at V er åben i R 2, at (a, b) V, og at f : V R. Hvis f er C 1 på V, og hvis en af de blandede partielt afledede for f eksisterer på V og er kontinuert i punktet (a, b), så eksisterer den anden blandede afledete i (a, b) og 2 f y x (a, b) = 2 f (a, b) x y (Wade, 2010, s. 385) Bemærk, at antagelserne i Sætning 1.27 alle er opfyldt, når f C 2 (V ). I mange tilfælde er det nyttigt at samle de første ordens partielt afledede i en enkel vektorfunktion, som kaldes gradienten. Definition 1.28 Lad V R n og f : V R. I ethvert punkt a V, hvor de førsteordens partielt afledede for f eksisterer, defineres gradienten ved f = f 1 e 1 + f 2 e f n e n (Adams and Essex, 2010, s. 714) Hidtil har der været fokus på at beskrive partielt afledede og hertil knyttede resultater, men hvorledes hænger det sammen med differentiabiliteten for en funktion af flere variable? Først følger en definition, som klargør, hvad det vil sige, at en funktion af flere variable er differentiabel. Definition 1.29 Antag, at a R n, at V er en åben mængde indeholdende a, og at f : V R m. i) f siges at være differentiabel i a, hvis der er et T L(R n, R m ), sådan at f(a + h) f(a) T (h) lim = 0 h 0 h 19

29 1.4. EKSTREMA KAPITEL 1. GRUNDLÆGGENDE TEORI er opfyldt (for h tilpas lille). ii) f siges at være differentiabel på en mængde I, hvis I er ikke-tom, og f er differentiabel i ethvert punkt i I. (Wade, 2010, s. 395) Analogt til funktioner af én variabel gælder det, at en funktion af flere variable er kontinuert i et punkt a, hvis funktionen er differentiabel i a. Ligeledes gælder det, at hvis f er differentiabel i a, så eksisterer alle de første ordens partielt afledede af f i a. Næste sætning angiver en vis sammenhæng mellem de partielt afledede og differentiabilitet. Sætning 1.30 Lad V være åben i R n, lad a V, og antag at f : V R m. Hvis alle førsteordens partielt afledede for f eksisterer i V og er kontinuerte i a, så er f differentiabel i a. Bemærk, at antagelserne er opfyldt, hvis f er C 1 på V. (Wade, 2010, s. 398) Denne etablering af begreber knyttet til differentiabilitet for funktioner af flere variable er væsentlig for det videre arbejde med optimering. En del problemstillinger relateret til optimering beskrives ved funktioner af flere variable, og da mange optimeringsmetoder netop benytter sig af partielt afledede, er det essentielt at forstå disse. 1.4 Ekstrema I mange tilfælde er det interessant at kunne bestemme, hvornår en funktion antager globale eller lokale ekstrema. Arbejdes der med ubegrænset optimering af en funktion f af flere variable, kan gradienten f bruges til at bestemme de punkter, hvori f kan forventes at have ekstrema. 20

30 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.4. EKSTREMA Definition 1.31 Lad V R n, f : V R og x, a V. i) En funktion f har lokalt maksimum i a, hvis der eksisterer et tal h > 0, således at f(x) f(a) for alle x, hvor x a < h. Hvis f(x) f(a) gælder for alle x V, så har f globalt maksimum i a. ii) En funktion f har lokalt minimum i a, hvis der eksisterer et tal h > 0, således at f(x) f(a) for alle x, hvor x a < h. Hvis f(x) f(a) gælder for alle x V, så har f globalt minimum i a. (Adams and Essex, 2010, s. 233 og s. 744) Følgende sætning angiver, for hvilke punkter en funktion kan antage ekstremumsværdier. Sætning 1.32 Lad V R n og f : V R. f kan antage et lokalt eller globalt ekstrema i et punkt a V, hvis én af følgende betingelser er opfyldt: i) a er et kritisk punkt for f, dvs. at f(a) = 0. ii) a er et singulært punkt for f, dvs. at f(a) ikke eksisterer. iii) a er et randpunkt i definitionsmængden for f. (Adams and Essex, 2010, s. 744) Bemærk, at Sætning 1.32 kun angiver nødvendige, men ikke tilstrækkelige kriterier for, at f har globalt eller lokalt ekstrema i a. I følgende eksempel illustreres det, at Sætning 1.32.i er en nødvendig, men ikke en tilstrækkelig betingelse. Eksempel Lad f : R 2 R, hvor f(x, y) = x 2 y 2. Det ses, at f(0, 0) = 0, men på grafen for f (se Figur 1.2) ses det, at f ikke antager et ekstrema i (0, 0). Derimod har f et såkaldt saddelpunkt i (0, 0). Bemærk desuden, at f hverken har et maksimum eller minimum på R 2. 21

31 1.4. EKSTREMA KAPITEL 1. GRUNDLÆGGENDE TEORI Figur 1.2: Grafen for f(x, y) = x 2 y 2 Som det ses i Eksempel 1.33 eksisterer der kontinuert differentiable funktioner, som opfylder, at f(a) = 0, men hvor f(a) hverken er et lokalt maksimum eller lokalt minimum. Endvidere fordrer Eksempel 1.33 en definition på begrebet saddelpunkt, men før dette, defineres begrebet åben kugle. Definition 1.34 B ρ (a) er den åbne kugle med centrum i a og radius ρ, dvs. B ρ = {x R n : x a < ρ} (Wade, 2010, s. 288) Definition 1.35 Lad V være en åben delmængde af R n, a V og f : V R være differentiabel i a. Så kaldes a et saddelpunkt for f, hvis f(a) = 0, og der findes r 0 > 0, således at der for ethvert 0 < ρ < r 0 eksisterer punkter x, y B ρ (a), der opfylder f(x) < f(a) < f(y). 22

32 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.5. FORTÆTNINGSPUNKTER (Wade, 2010, s. 436) I nærværende projekt behandles ubegrænset optimering for differentiable funktioner, hvorfor der fokuseres på ekstrema i kritiske punkter og ikke i randpunkter eller singulære punkter. I afsnit 2.3 og 2.5 beskrives hhv. gradientmetoden og Newtons metode, som er metoder til bestemmelse af kritiske punkter. I afsnit 2.6 beskrives Hesse-matricen, som kan bruges til at klassificere de kritiske punkter. I forbindelse med gradientmetoden opskrives en række sætninger, hvori det er nødvendigt at vide en smule om fortætningspunkter, hvorfor vi vil introducere fortætningspunkter i følgende afsnit. 1.5 Fortætningspunkter I dette afsnit vil der ikke blive gået i dybden med teori vedrørende fortætningspunkter, men der vil blot opremses en definition på fortætningspunkter samt to relevante resultater knyttet hertil. Definition 1.36 Lad {x k } være en følge. Så er x et fortætningspunkt for følgen, hvis der for ethvert ε > 0 og ethvert K eksisterer et x k x, hvor k K, således at x k B ε (x ). (Cornean, 2012) Lemma 1.37 Antag, at følgen {x k } A har et fortætningspunkt x A. Så har {x k } en konvergent delfølge, hvis grænse er x. (Cornean, 2012) Lemma 1.38 Lad f : R n R være en kontinuert funktion og {x k } R n en følge. Antag f(x k ) a, for k. Hvis x er et fortætningspunkt for {x k }, så er f(x ) = a. 23

33 1.6. DEFINIT KAPITEL 1. GRUNDLÆGGENDE TEORI Bevis Antag at x er et fortætningspunkt. Ifølge Lemma 1.37 findes en delfølge, så lim j x kj = x. Da har vi, at (Remark 2.6 s. 44i (Wade, 2010)) Vi ved, at f er kontinuert og får dermed, at lim j f(x k j ) = lim k f(x k) = a f(x ) = f( lim j (x kj )) = lim j f(x kj ) = a Disse resultater er, som nævnt, relevante i forbindelse med nogle af de benyttede sætninger i projektets kapitel 2 (Optimeringsmetoder). På samme måde er det essentielt at have et grundlæggende kendskab til definit, semidefinit og indefinit, da teori om dette ligeledes vil blive benyttet i forbindelse med beskrevne optimeringsmetoder. 1.6 Definit, indefinit og semidefinit I dette afsnit gives en kort introduktion til begreberne definit, indefinit og semidefinit, som er relevant for Hesse-matricer (2.6) samt konvekse og konkave funktioner (1.8). Begreberne definit, indefinit og semidefinit kan defineres vha. egenværdier og determinanter eller den kvadratiske form. I dette projekt, vil begreberne defineres vha. egenværdier og determinanter. For at kunne definere definit, indefinit og semidefinit, er det essentielt at kunne sige noget om egenværdierne for symmetriske matricer. En kombination af de tre følgende sætninger, giver et vigtigt resultat for reelle, symmetriske matricers egenværdier. Sætning 1.39 Lad V være et endelig-dimensionalt indre produkt rum over C, og lad T L(V ). Så er T normal, hvis og kun hvis der eksisterer en ortonormal basis for V bestående af egenvektorer for T. (Lankham et al., 2007, s. 148) Sætning 1.40 T L(V ) er diagonaliserbar, hvis og kun hvis der eksisterer en basis for V, som udelukkende består af egenvektorer for T. 24

34 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.6. DEFINIT (Lankham et al., 2007, s. 150) Sætning 1.41 Enhver egenværdi for en selvadjungeret operator er reel. (Lankham et al., 2007, s. 146) Betragt en reel symmetrisk matrix A. A er selvadjungeret, da A = A, og dermed er A også normal, da A A = AA = AA. Det følger fra Sætning 1.39, at der eksisterer en basis bestående af egenvektorer for A. Heraf følger fra Sætning 1.40, at A er diagonaliserbar, dvs. A = P DP 1, hvor P består af egenvektorer for A og D er en diagonalmatrix med egenværdier for A i diagonalen. Dermed har A egenværdier, og Sætning 1.41 sikrer, at disse egenværdier er reelle. En symmetrisk, reel matrix har således altid reelle egenværdier, og denne viden benyttes i følgende definition. Definition 1.42 Lad A være reel, symmetrisk og kvadratisk. i) En positiv (negativ) definit matrix A er en matrix, hvis egenværdier er positive (negative), og determinanten af matricen A er positiv. ii) En positiv (negativ) semidefinit matrix A er en matrix, hvis egenværdier er ikke-negative (ikke-positive), og determinanten af matricen A er ikke-negativ (ikke-positiv). iii) En indefinit matrix A er en matrix, hvis egenværdier både kan antage positive og negative værdier, og hvor determinanten af A er positiv/eller negativ. (postive-definite OCW, 2012), (Wiki-Hesse, 2012) Nu følger tre eksempler på symmetriske matricer, som er hhv. positiv definit, positiv semidefinit og indefinit. Eksempel [ ] 4 0 B =

35 1.7. TAYLORPOLYNOMIER KAPITEL 1. GRUNDLÆGGENDE TEORI Egenværdierne til matricen B er λ = 4 og λ = 2. Desuden er det(b) = 8, og derfor er B positiv definit. [ ] 4 4 C = 4 4 Egenværdierne til matricen C er λ = 0 og λ = 8. Desuden er det(c) = 0, og derfor er C positiv semidefinit. [ ] 1 4 D = 4 1 Egenværdierne til matricen D er λ = 5 og λ = 3. Desuden er det(d) = 15, og derfor er D indefinit. Dermed er begreberne definit, indefinit og semidefinit etableret, og disse vil blive brugt i senere afsnit. 1.7 Taylorpolynomier Dette afsnit omhandler Taylorpolynomier, som bl.a. spiller en vigtig rolle i Newtons metode. Hvis der betragtes en funktion f : I R, hvor I R, vil et Taylorpolynomium approksimere funktionen omkring et punkt x 0 I bedre end noget andet polynomium af samme grad. I det følgende vises, hvorledes Taylors formel udledes. Betragt først serien af polynomiske led x n med tilhørende koefficienter a n, hvor n N 0, givet ved f(x) = a 0 + a 1 x + a 2 x 2 + a 3 x 3 + a 4 x Differentieres f gentagne gange fås f (1) (x) = 1 a a 2 x + 3 a 3 x a 4 x f (2) (x) = 2 1 a a 3 x a 4 x f (3) (x) = a a 4 x +... f (4) (x) = a

36 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.7. TAYLORPOLYNOMIER Evalueres de afledede i x = 0 fås f (0) = a 0, f (1) = 1 a 1, f (2) = 2 1 a 2, f (3) = a 3, f (4) = a 4 Herudfra ses, at hver koefficient kan skrives som a n = f (n) (0) n! Summen af de polynomiske led kan således beskrives ved f(x) = n=0 f (n) (0) x n n! og denne kaldes Taylors serie. Ikke alle funktioner ønskes evalueret omkring 0. Ovenstående udtryk kan dog udvides til at approksimere en funktion f omkring et vilkårligt punkt x 0. Dette skrives som f(x) = k=0 f (k) (x 0 ) (x x 0 ) k k! I praksis dannes der ikke en uendelig serie af polynomier, men der stoppes, når en ønsket præcision er opnået efter en serie af n polynomier. Taylorpolynomiet af orden n, der approksimerer funktionen f omkring punktet x 0 noteres som P f,x 0 n og benævnes: det n te Taylorpolynomium af f evalueret ved x 0. Det er således nødvendigt, at funktionen f er differentiabel n gange. Taylorpolynomiet defineres formelt som følger. Definition 1.44 Lad f C n (I, R), hvor I R er et åbent interval, og lad x 0 I være fast. Så defineres det n te Taylorpolynomium for ethvert heltal n 0 som P f,x 0 n (x) = n k=0 f (k) (x 0 ) (x x 0 ) k (1.6) k! Følgende eksempel illustrerer, hvorledes Taylorpolynomier bestemmes. Eksempel Lad f(x) = cos(x) og n N. Bestem et udtryk for Taylorpolynomiet P cos(x),0 2n (x) = n k=0 cos (k) (x 0 ) (x x 0 ) k k! 27

37 1.7. TAYLORPOLYNOMIER KAPITEL 1. GRUNDLÆGGENDE TEORI Bemærk, at f(x) = cos(x), f (x) = sin(x), f (x) = cos(x) f (3) = sin(x), f (4) = cos(x),... Det ses, at f (2k) (x) = ( 1) k cos(x) og f (2k+1) (x) = ( 1) k+1 sin(x) for k = 0, 1,..., n. Det følger, at f (2k) (0) = ( 1) k og f (2k+1) (0) = 0 for k 0. Det fås, at P cos(x),0 2n (x) = n k=0 ( 1) k x 2k (2k)! Hvis f(x) = P f,x 0 n (x), ses det, at det n te Taylor polynomium approksimerer f uden fejl. Hvis dette ikke er tilfældet, eksisterer der et restled R n (x), således at f(x) = P f,x 0 n (x) + R n (x) Restleddet R n (x) kan betragtes som den numeriske størrelse, man rammer ved siden af (og dermed et fejlled), eller som den størrelse, man mangler for at ramme funktionsværdien af f nøjagtig. Dette restled kan være på formen R n (x) = f n+1 (c) (n + 1)! (x x 0) n+1 for et c mellem x 0 og x og kaldes i så fald Lagranges restled. Dette leder op til sætningen for Taylors Formel. Sætning 1.46 Lad n N, og lad a og b være reelle tal, hvor a < b. Hvis f : (a, b) R, og hvis f (n+1) eksisterer på (a, b), så er der for hvert par af punkterne x, x 0 (a, b) et tal c mellem x 0 og x, således at f(x) = f(x 0 ) + n k=1 f (k) (x 0 ) (x x 0 ) k + f n+1 (c) k! (n + 1)! (x x 0) n+1 (1.7) (Wade, 2010, s. 117) I følgende eksempel illustreres, hvordan et Taylorpolynomium kan approksimere værdien af en funktion i et givet punkt. 28

38 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.7. TAYLORPOLYNOMIER Eksempel Find en approksimeret værdi for 26 vha. det andenordens Taylorpolynomium og angiv en fejlmargin for resultatet. Vi ønsker, således at approksimere funktionen f(x) = x. Først bestemmes hhv. den førsteordens og andenordens afledte: f (x) = 1 2 x f (x) = 1 4 x 3 Dernæst vælges en værdi, der ligger tilstrækkelig tæt på f(26), eksempelvis f(25) = 5. Det andenordens Taylorpolynomium for f omkring x 0 = 25 er da givet ved P f,25 2 (x) = 2 k=0 f (k) (25) (x 25) k k! = f(25) + f (25)(x 25) + f (25) (x 25) 2 2! = (x 25) + (x 25) Det er nu muligt at approksimere f(26) ved P f,25 2 (26). Vi får, at 26 = f(26) P f,25 2 (26) = (26 25) (26 25)2 5, 099 Ved hjælp af Lagranges restled kan der bestemmes et interval, som den eksakte værdi af f(26) med garanti ligger indenfor. Den tredjeordens afledte af f er givet ved f (3) (x) = 3 8 x 5/2. For et c (25, 26) har vi, at Dermed fås, at fejlleddet opfylder f (3) (c) f (3) (25) = /2 = R 2 (26) ! (26 25)3 = 1 = 0, Værdien af 26 ligger dermed indenfor 5, 099 ± 0, (Adams and Essex, 2010, s. 275) Man kunne forvente, at Taylorpolynomier af tilstrækkelig høj grad kan beskrive funktioners opførsel perfekt. Det er imidlertid langt fra tilfældet, som følgende eksempel viser. 29

39 1.7. TAYLORPOLYNOMIER KAPITEL 1. GRUNDLÆGGENDE TEORI Eksempel Approksimer funktionen f(x) = 1/(1 + x 2 ) vha. dets Taylorpolynomium af orden 8 centreret omkring x 0 = 0. Vurder om der sker forbedring af approksimationen uden for intervallet [ 1, 1] ved højere orden. Først udregnes de otte afledede af f: f (0) = x 2 f (1) = 2x (x 2 + 1) 2 f (2) = 6x2 2 (x 2 + 1) 3 f (3) = 24x(x2 1) (x 2 + 1) 4 f (4) = 24(5x4 10x 2 + 1) (x 2 + 1) 5 f (5) = 240x(3x4 10x 2 + 3) (x 2 + 1) 6 f (6) = 720(7x6 35x x 2 1) (x 2 + 1) 7 f (7) = 40320x(x6 7x 4 + 7x 2 1) (x 2 + 1) 8 f (8) = 40320(9x8 84x x 4 36x 2 + 1) (x 2 + 1) 9 Disse evalueres omkring x 0 = 0 og følgende værdier fås: f (0) (0) = 1, f (1) (0) = 0, f (2) (0) = 2 f (3) (0) = 0, f (4) (0) = 24, f (5) (0) = 0 f (6) (0) = 720, f (7) (0) = 0, f (8) (0) = Det 8. ordens Taylorpolynomium, der approksimerer funktionen f omkring x 0 = 0, ser dermed således ud P f,0 8 (x) = 8 k=0 f (k) (0) (x 0) k k! = 1 0! x0 + ( 2) x ! = 1 x 2 + x 4 x 6 + x 8 4! x4 + ( 720) 6! x x 8 8! 30

40 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.7. TAYLORPOLYNOMIER (a) Taylorpol. orden 1 (b) Taylorpol. orden 3 (c) Taylorpol. orden 5 Figur 1.3: Taylorpolynomier (rød) til funktionen f(x) = 1/(1 + x 2 ) (blå) (a) Taylorpol. orden 10 (b) Taylorpol. orden 15 (c) Taylorpol. orden 50 Figur 1.4: Taylorpolynomier (rød) til funktionen f(x) = 1/(1 + x 2 ) (blå) Sammenlignes graferne (Figur 1.3 og 1.4) for f (rød) med grafen for diverse Taylorpolynomier (blå), P f,0 (x), hvor k = {1, 3, 5, 10, 15, 50}, ses det tydeligt, at disse ikke approksimerer f k bedre udenfor intervallet [ 1, 1] trods højere orden. Forbedringen sker indenfor dette interval. Det 50. Taylorpolynomium af f omkring x 0 = 0 er heller ikke nogen forbedring udenfor intervallet ( 1, 1). Konklusionen er derfor, at Taylorpolynomier ofte er et fint redskab til beskrivelse af en funktions opførsel i en begrænset omegn af det punkt, der evalueres i. I dette afsnit er Taylors formel udelukkende blevet beskrevet for funktioner af én variabel. I næste afsnit udvides Taylors formel til at behandle funktioner af flere variable, hvilket bl.a. er nyttigt i Newtons metode for flere variable (afsnit 2.5.1). 31

41 1.7. TAYLORPOLYNOMIER KAPITEL 1. GRUNDLÆGGENDE TEORI Taylorpolynomier - flere variable Taylors formel generaliseres nu til funktioner af flere variable. Betragt først det andenordens Taylorpolynomium for f : I R, hvor I R omkring punktet a. f(x) P f,a 2 (x) = f(a) + f (a)(x a) + f (a) (x a) 2 (1.8) 2! Betragt nu en funktion f : V R, hvor V R. Den bedste lineære approksimation af f, altså det førsteordens Taylorpolynomium, omkring punktet a er f(x) f(a) + Df(a)(x a) (1.9) hvor Df(a) er matricen af førsteordens partielt afledede af f evalueret i punktet a. Bemærk, hvordan denne komponent korresponderer til f (a) i (1.8). Tilsvarende er der en analog mellem f (a) i (1.8) og DDf(a) = H f(a) Dette er Hesse-matricen bestående af de andenordens partielt afledede af f evalueret i punktet a. Betragt nu igen (1.8), og omskriv det kvadratiske led til 1 2! (x a)f (a)(x a) Analogt svarer dette for en funktion af flere variable til 1 2! (x a)t H f(a)(x a) Dermed er det nu muligt at opskrive det andenordens Taylorpolynomium for en funktion f af flere variable omkring punktet a som (Nykamp, 2012a) P f,a 2 (x) = f(a) + Df(a)(x a) + 1 2! (x a)t H f(a)(x a) (1.10) For at lette notationen i Taylors formel for funktioner af flere variable defineres nu totaldifferentialet. Definition 1.49 Lad p 1, V være åben i R n, a V og f : V R. Funktionen f siges at have et p te-ordens totaldiffentiale i a, hvis de (p - 1) te ordens partielt afledede af f 32

42 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.7. TAYLORPOLYNOMIER eksisterer på V og er differentiabel i a. I så tilfælde kaldes D (p) f(a; h) = n i 1,...,i p p f x i1... x ip (a)h i1 h ip, hvor h = (h 1,..., h n ) R n det p te ordens totaldifferentiale af f i a. (Wade, 2010, s. 420) Bemærk, i relation til Taylorpolynomiet, at h = (x a). Det n te ordens Taylorpolynomium af f centreret i a er således givet ved P f,a n (x) = n k=0 1 k! D(k) f(a; h), hvor h = (x a) I det følgende eksempel illustreres Definition 1.49, idet der betragtes det p te ordens differentiale af f i a for hhv. p = 1 og p = 2. Eksempel Opskriv hhv. det første- og andenordens totaldifferentiale af f i a samt et udtryk for det andenordens totaldifferentiale for en funktion af tre variable. Fra Definition 1.49 har vi, at a 1 D (p) f(a; h) = a 2 h 2 hvor a = og h =.. a n h 1 h n n i 1,...,i p Totaldifferentialet for p = 1 kan skrives som p f x i1... x ip (a)h i1 h ip D (1) f(a; h) = n i=1 f x i (a)h i Totaldifferentialet for p = 2, hvor i 1 = i og i 2 = j, kan skrives som D (2) f(a; h) = n n i=1 j=1 (2) f x i x j (a)h i h j (1.11) 33

43 1.7. TAYLORPOLYNOMIER KAPITEL 1. GRUNDLÆGGENDE TEORI Betragt (1.11) for n = i=1 j=1 2 f x i x j (a)h i h j = 3 j=1 2 f x j x 1 (a)h 1 h j + = 2 f x 1 x 1 (a)h 1 h f x 1 x 2 (a)h 2 h f x 1 x 3 (a)h 3 h j=1 2 f x j x 2 (a)h 2 h j + 2 f x 2 x 1 (a)h 1 h f x 2 x 2 (a)h 2 h f x 2 x 3 (a)h 3 h j=1 2 f x 3 x 1 (a)h 1 h 3 2 f x 3 x 2 (a)h 2 h 3 2 f x 3 x 3 (a)h 3 h 3 2 f x j x 3 (a)h 3 h j Nu kan Taylors formel opskrives for funktioner af flere variable. Sætning 1.51 Lad p N, V være åben i R n, x, a V og at f : V R. Hvis det p te totaldifferentiale af f eksisterer på V og L(x; a) V, da eksisterer der et punkt c L(x : a), således at p 1 1 f(x) = f(a) + k! D(k) f(a; h) + 1 p! D(p) f(c; h), for h = x a k=1 Her følger et eksempel på et Taylorpolynomium af en funktion af to variable. (Wade, 2010, s. 421) Eksempel Beregn det andenordens Taylorpolynomium af f(x 1, x 2 ) = x x 2 2 2x 1 x 2 x 1 4 x 2 4 i punktet ( 1, 1). Det andenordens Taylorpolynomium i punktet (a 1, a 2 ) er givet ved [ ] P f,a x1 a 1 2 (x) = f(a 1, a 2 ) + Df(a 1, a 2 ) + 1 x 2 a 2 2! 34 [x 1 a 1 x 2 a 2 ] H f(a 1, a 2 ) [ ] x1 a 1 x 2 a 2

44 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.7. TAYLORPOLYNOMIER Først beregnes hhv. de førsteordens og andenordens partielt afledede: f x 1 (x 1, x 2 ) = 2x 1 2x 2 4x 1 3, f x 2 (x 1, x 2 ) = 2x 2 2x 1 4x f x 1 2 (x 1, x 2 ) = 2 12x 1 2, 2 f x 2 2 (x 1, x 2 ) = 2 12x 2 2, 2 f x 1 x 2 (x 1, x 2 ) = 2 I punktet (a 1, a 2 ) = ( 1, 1) har vi f( 1, 1) = 2 f x 1 ( 1, 1) = 0, f x 2 ( 1, 1) = 0 2 f 2 ( 1, 1) = 10, x 1 2 f ( 1, 1) = 10, x f x 1 x 2 ( 1, 1) = 2 Det andenordens Taylorpolynomium i a = ( 1, 1) er således givet ved [ ] P f,a x (x) = f( 1, 1) + Df( 1, 1) + 1 x 2 1 2! [ ] [ ] x = x 2 1 2! = 5x x 1 5x x 2 8 [ ] x x 2 1 H f( 1, 1) [ ] [ 10 0 x x ] [ ] x1 + 1 x 2 1 [ ] x1 + 1 x 2 1 Omkring punktet a = ( 1, 1) approksimerer det andenordens Taylorpolynomium funktionen f bedre end et hvilket som helst andet polynomium af samme grad. Eksempel 1.52 viser, hvordan et Taylorpolynomium approksimerer en funktion bedre end andre polynomier af samme orden. Denne metode benyttes som sagt i forbindelse med Newtons metode både for én eller flere variable og er således et særdeles anvendeligt redskab i forbindelse med matematisk optimering. (Wade, 2010) 35

45 1.8. KONVEKS KAPITEL 1. GRUNDLÆGGENDE TEORI 1.8 Konvekse og konkave funktioner Konvekse og konkave funktioner spiller en vigtig rolle i undersøgelsen af optimeringsproblemer, hvor de udmærker sig ved en række praktiske egenskaber. F.eks. har en (strengt) konveks funktion på et åbent interval højst et minimum og ligeledes gælder der, at en (strengt) konkav funktion højst har et maksimum. Først starter vi med at se på, hvornår en mængde er konveks. Det lukkede linjestykke mellem x og y er givet ved [x, y] = {z R n : z = tx + (1 t)y t [0, 1]} Ved at sætte t = 0 er z = y og ved at sætte t = 1 er z = x. Det ses, at når t gennemløber alle reelle værdier i [0, 1] dannes det lukkede linjestykke [x, y]. Hvis alle værdierne i [x, y] ligger indenfor mængden som linjestykket er defineret på, kaldes mængden en konveks mængde. Følgende definition beskriver en konveks mængde i R n. Definition 1.53 En mængde S i R n kaldes konveks, hvis tx + (1 t)y S for alle x, y i S og alle t i [0, 1] (Knut et al., 2004, s. 102) En C 2 -funktion f : R R kaldes konveks over intervallet I R, hvis f (x) 0 for alle x i I. Ligeledes kaldes en funktion konkav over intervallet I, hvis f (x) 0 for alle x i I. Geometrisk set vil grafen for en konveks funktion over et interval I bøje sig med den hule side opad (hvis funktionen bøjer), som illustreret på Figur 1.5a og tilsvarende vil grafen for en konkav funktion bøje sig med den hule side nedad, som illustreret på Figur 1.5b. Læg dog mærke til, at konveksitet af en funktion ikke kræver, at den er C 2. For at få en mere præcis formulering af konvekse og konkave funktioner af flere variable, følger denne definition. 36

46 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.8. KONVEKS (a) Konveks graf x 2 + y 2 (b) Konkav graf x 2 y 2 Definition 1.54 En funktion f : S R defineret på en konveks mængde S i et vektorrum kaldes konveks, hvis der, for to vilkårlige punkter x 1 og x 2 i S og for ethvert t [0, 1], gælder, at f(tx 1 + (1 t)x 2 ) tf(x 1 ) + (1 t)f(x 2 ) For en konkav funktion gælder samme definition blot med omvendt ulighedstegn. En funktion kaldes strengt konveks, hvis f(tx 1 + (1 t)x 2 ) < tf(x 1 ) + (1 t)f(x 2 ) (1.12) for alle t, hvor 0 < t < 1 og x 1 x 2. Ligeledes kaldes en funktion strengt konkav, hvis der er omvendt ulighedstegn i (1.12). (Wiki-Convex, 2012) For at få et visuelt billede af foregående definition, vil der, for en konveks (konkav) funktion af én variabel, gælde, at linjestykket mellem to vilkårlige punkter på grafen, ligger over (under) grafen, bortset fra endepunkterne (se Figur 1.5). Dette vil også gælde for to variable. Man kan sjældent afgøre om en funktion er konveks eller konkav direkte ved brug af Definition 1.54, da det vil kræve nogle besværlige udregninger. Derfor er det væsentligt at 37

47 1.8. KONVEKS KAPITEL 1. GRUNDLÆGGENDE TEORI Figur 1.5: Konveks graf (Wiki-Convex-Billede, 2012) undersøge, hvordan man i praksis kan afgøre om en funktion er konveks eller konkav. I det følgende betragtes tre sætninger, som kan bruges til at identificere en konveks funktion. Sætning 1.55 Antag, at f : V R er differentiabel, og V R n er åben og konveks. Så er f konveks, hvis og kun hvis der for to vilkårlige punkter x 1 og x 2 gælder, at f(x 2 ) f(x 1 ) + f(x 1 ) T (x 2 x 1 ) (1.13) (Boyd and Vandenberghe, 2004, s. 69) Bevis For at bevise sætningen betragter vi først situationen for n = 1. Vi viser, at en differentiabel funktion f : R R er konveks, hvis og kun hvis f(x 2 ) f(x 1 ) + f (x 1 )(x 2 x 1 ) (1.14) for alle x 1, x 2 V. Antag først, at f er konveks og x 1, x 2 V. Per antagelse er V konveks, og det følger da 38

48 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.8. KONVEKS fra Definition 1.54, at for alle 0 t 1, at x 1 + t(x 2 x 1 ) V og fra konveksiteten af f, at f(x 1 + t(x 2 x 1 )) (1 t)f(x 1 ) + tf(x 2 ) = f(x 1 ) tf(x 1 ) + tf(x 2 ) Hvis vi deler begge sider med t fås, f(x 1 + t(x 2 x 1 )) t f(x 1) t f(x 1 ) + f(x 2 ) f(x 2 ) f(x 1 ) + f(x 1 + t(x 2 x 1 )) f(x 1 ) t for t 0 og ved at forlænge brøken på højre side med 1 = (x 2 x 1 )/(x 2 x 1 ) og tage grænseværdien, når t(x 2 x 1 ) 0, fås Hermed har vi (1.14). f(x 2 ) f(x 1 ) + (x 2 x 1 ) f(x 1 + t(x 2 x 1 )) f(x 1 ) t(x 2 x 1 ) f(x 2 ) f(x 1 ) + f (x 1 )(x 2 x 1 ) Antag nu, at f opfylder (1.14) for alle x 1, x 2 V. Vi viser, at dette medfører, at f er konveks. Vælg vilkårlige x 1 x 2, og 0 t 1 og lad z = tx 1 + (1 t)x 2. Betragt uligheden (1.14). Ved indsættelsen af de valgte x 1 og x 2 fås følgende to uligheder f(x 1 ) f(z) + f (z)(x 1 z) og f(x 2 ) f(z) + f (z)(x 2 z) Multiplicér første ulighed med t og anden ulighed med 1 t, og læg dem sammen, så fås tf(x 1 ) + (1 t)f(x 2 ) tf(z) + tf (z)(x 1 z) + f(z) tf(z) + f (z)(x 2 z) tf (z)(x 2 z) f(z) + f (z)(tx 1 tz + x 2 z tx 2 + tz) f(z) + f (z)(tx 1 + x 2 z tx 2 ) f(z) + f (z)(tx 1 + x 2 tx 1 x 2 + tx 2 tx 2 ) f(z) f(tx 1 + (1 t)x 2 ) hvilket beviser, at f er konveks. Nu kan vi bevise den generelle situation med f : V R, hvor V R n. Lad x 1, x 2 V og betragt restriktionen af f til den linje, som går igennem punkterne x 1, x 2, dvs. funktionen, som er defineret ved g(t) = f(tx 2 +(1 t)x 1 ). Da har vi, at g (t) = f(tx 2 +(1 t)x 1 ) T (x 2 x 1 ). 39

49 1.8. KONVEKS KAPITEL 1. GRUNDLÆGGENDE TEORI Antag først, at f er konveks, hvilket medfører, at g er konveks. Så fra ovenstående argument har vi, at g(1) g(0) + g (0), hvilket betyder, at f(x 2 ) f(x 1 ) + f(x 1 ) T (x 2 x 1 ) Altså holder uligheden. Antag nu, at denne ulighed holder for alle x 1 og x 2. Når tx 2 + (1 t)x 1 V og tx 2 + (1 t)x 1 V har vi, at f(tx 2 + (1 t)x 1 ) f( tx 2 + (1 t)x 1 + f( tx 2 + (1 t)x 1 ) T (x 2 x 1 )(t t) dvs. g(t) g( t) + g ( t)(t t). Da g er en funktion af én variabel, så har vi for n = 1, at den er konveks, og da g(t) = f(tx 2 + (1 t)x 1 ) for alle x 1, x 2 V, følger det, at f er konveks. (Boyd and Vandenberghe, 2004, s ) Sætning 1.56 En C 2 -funktion f : R n R er konveks (konkav), hvis Hesse-matricen H (x) er positiv (negativ) semidefinit. Yderligere hvis H (x) er positiv (negativ) definit, vil f være streng konveks (konkav). Bevis Fra Taylors sætning (1.51) har vi, at f(x + h) = f(x ) + n i=1 h i f x i (x ) + 1 2! n i=1 j=1 n h i h j 2 f x i x j (x=x +th) (1.15) for 0 < t < 1. Ved at sætte x = x 1 og x + h = x 2 får vi, at h = x 2 x 1. Derved kan (1.15) skrives som f(x 2 ) = f(x 1 ) + f T (x 1 )(x 2 x 1 ) (x 2 x 1 ) T H (x 1 + t(x 2 x 1 )) (x 2 x 1 ) Hvis H (x) er positiv semidefinit, ses det, at (1.13) er opfyldt, og dermed vil f være konveks. Samme bevismåde vil vise, at en funktion f er konkav, hvis H (x) er negativ semidefinit. Ydermere hvis H (x) er positiv (negativ) definit, vil f være strengt konveks (konkav). 40

50 KAPITEL 1. GRUNDLÆGGENDE TEORI 1.8. KONVEKS Følgende sætning giver en vigtig egenskab for konvekse funktioner. (Wiley-Convex-Concave, 2012, s. 781) Sætning 1.57 Ethvert lokalt minimum for en konveks funktion f er et globalt minimum. Bevis Da f er konveks har vi fra Sætning 1.55, at (Wiley-Convex-Concave, 2012, s. 782) f(x 2 ) f(x 1 ) f(x 1 ) T (x 2 x 1 ) (1.16) Hvis x 1 er lokalt minimum vil f(x 1 ) = 0. Deraf fås, at f(x 2 ) f(x 1 ) så må f(x 1 ) være et globalt minimum. Kriterierne i de foregående sætninger er i praksis særdeles relevante, når man vil afgøre om en funktion er konveks eller konkav. I de følgende eksempler arbejdes der ud fra de nævnte sætninger til at afgøre, om en funktion er konveks eller konkav. Eksempel Brug Sætning 1.56 til at afgøre om f(x 1, x 2 ) = 2x 1 3 6x 2 2 er (strengt) konveks eller konkav. Hesse-matricen for funktionen er H (x) = [ 2 f x f x 1 x 2 2 f x 1 x 2 2 f x 2 2 ] = [ 12x ] Her er 2 f/ x 1 2 = 12x 1 0 for x 1 0 og 0 for x 1 0 og det(h (x)) = 144x 1 0 for x 1 0 og 0 for x 1 0. Så er H (x) negativ semidefinit for x 1 0, og dermed er f konkav for x

51 1.8. KONVEKS KAPITEL 1. GRUNDLÆGGENDE TEORI Eksempel Vis, at F = f(x, y) = Ax 2 + Bxy + Cy 2 + Dx + Ey + G er strengt konveks, hvis 4AC B 2 > 0 og A > 0, mens den er strengt konkav, hvis 4AC B 2 > 0 og A < 0. Dette løses ved at bruge Sætning Hesse-matricen for F er H (F ) = [ 2 F x F x 1 x 2 2 F x 1 x 2 2 F x 2 2 ] = [ ] 2A B det(h (F )) = 2A2C B 2 = 4AC B 2 og F 11 = 2A. Egenværdierne for H (F ) når det(h (F )) > 0 og A > 0 er givet ved: det(h (F ) I 2 λ) = [ 2A λ B B 2C λ ] B 2C = λ 2 (2A + 2C)λ + 4AC B 2 og herfra ses det at og λ 2 (2A + 2C)λ + 4AC B 2 = (λ 1 λ)(λ 2 λ) λ 1 λ 2 = 4AC B 2 λ 1 + λ 2 = 2A + 2C Da 4AC B 2 > 0, medfører det, at λ 1 og λ 2 har samme fortegn og at C > 0. Derfor er λ 1 + λ 2 > 0, hvilket medfører at λ 1 > 0 og λ 2 > 0. Egenværdierne er derfor strengt positive. Dvs. når 4AC B 2 > 0 og A > 0, så er det(h (F )) > 0, hvilket medfører, at F er positiv definit og derfor strengt konveks. Ligeledes gælder der, at når det(h (F )) > 0 og A < 0, så er F negativ definit og derfor strengt konkav. Når man har med konvekse og konkave funktioner at gøre, giver det en garanti for, at der findes hhv. globale minimum og maksimum. Strategien i optimering vil dermed ofte være at bringe problemet i en kontekst, så det omskrives til en konveks eller konkav funktion. (Wiley-Convex-Concave, 2012), (Knut et al., 2004), (Boyd and Vandenberghe, 2004) De gennemgåede grundlæggende teorier vil danne fundamentet for et videre arbejde med metoder indenfor optimering, hvilket vi vil komme nærmere ind på i det følgende kapitel. 42

52 Kapitel 2 Optimeringsmetoder 2.1 Descent-metoder Efter gennemgangen af grundlæggende teori kan der nu tages fat på egentlige metoder, som benyttes i forbindelse med optimering. Betragt følgende optimeringsproblem uden bibetingelser, hvor funktionen f : V R med V R n er C 2. Minimér f(x), hvor x V (2.1) At løse et minimeringsproblem består i at finde en minimal værdi for funktionen samt at bestemme et eller flere punkter, hvori denne værdi antages. Om der ønskes at bestemme et minimum eller maksimum, afhænger af problemstillingen. Et maksimeringsproblem kan omskrives til et minimeringsproblem, da det at maksimere en funktion f svarer til at minimere f. I nærværende projekt vil vi derfor udelukkende fokusere på, hvordan man kan minimere en funktion. En funktion f kan antage minimum i x, hvis f(x ) = 0 (2.2) At bestemme kritiske punkter for f svarer således til at løse n ligninger med n variable. Bemærk, at hvis f er konveks, er det garanteret, at f antager et minimum i x. I praksis er det vanskeligt at bestemme løsningen til (2.2) direkte, hvorfor der anvendes iterative algoritmer til at bestemme de kritiske punkter. I dette projekt tages der udgangspunkt i descent-metoder, som er en samling af iterative algoritmer, der alle genererer en følge givet ved iterationsformlen x k+1 = x k + γ k r k (2.3) 43

53 2.1. DESCENT-METODER KAPITEL 2. OPTIMERINGSMETODER hvor r k angiver søgeretningen, γ k > 0 trinlængden og k = 0, 1, 2,... antal iterationer. x k+1 bestemmes således ved at følge linjen, der går igennem x k med retningsvektor r k. Trinlængden γ k angiver, hvor stort et skridt man skal tage fra x k langs linjen for at bestemme x k+1. Descentmetoder starter med et gæt på nulpunktet for gradienten, der noteres x 0. Herudfra generes følgen {x k } iterativt ud fra (2.3). Vi ønsker, at f bliver minimeret langs søgeretningen, således at f(x k+1 ) < f(x k ) undtagen, når x k = x. Søgeretningen r k for en descent-metode skal opfylde f(x k ) T r k < 0 En sådan søgeretning kaldes en aftagende retning. Lad f : V R, hvor V R n, så kan algoritmen for den generelle descent-metode opskrives som følger. Algoritme for descent-metoder Givet et startpunkt x V. Gentag punkt Bestem en aftagende søgeretning r 2. Vælg en trinlængde γ > 0 f.eks. vha. Line search 3. Lad x := x + γr indtil kriteriet for at stoppe algoritmen er opfyldt. Kriteriet for at stoppe algoritmen kan variere. Ofte er kriteriet af formen f(x) ε, hvor ε > 0 er lille. I andet punkt vælges trinlængden γ, som afgør, hvor på linjen {x + γr : γ R + } næste iteration skal være. Ved line search betragtes funktionen φ : R R, som er givet ved φ(γ) = f(x k + γr k ) Når trinlængden skal vælges, ønskes der en trinlængde, som resulterer i en betydelig reduktion af f, men samtidig ønskes det, at udregningen af γ ikke er for ressourcekrævende. Ved eksakt line search vælges γ k, så φ(γ) antager minimum i γ k. Ofte kræver eksakt line search 44

54 KAPITEL 2. OPTIMERINGSMETODER 2.2. LIPSCHITZ-BETINGELSEN ressourcekrævende udregninger, hvorfor der i stedet udføres en ikke-eksakt line search. I ikkeeksakt line search bestemmes et γ, som resulterer i en tilstrækkelig reduktion af f. (Boyd and Vandenberghe, 2004) I nærværende projekt ses der nærmere på to descent-metoder; gradientmetoden (afsnit 2.3) og Newtons metode (afsnit 2.5.1). Gradientmetoden benytter sig af forskellige metoder til at vælge trinlængden og bruger den negative gradient som søgeretning, dvs. r k = f(x k ). Newtons metode bruger trinlængden γ = 1 og søgeretningen r k = 2 f(x k ) 1 f(x k ). Både Newtons metode og gradientmetoden benyttes til at bestemme kritiske punkter, mens Hessematricen (afsnit 2.6) kan benyttes til at klassificere de kritiske punkter. For gradientmetoden kan bestemte metoder til valg af trinlængden sikre, at den genererede følge konvergerer mod et kritisk punkt, og til nogle af disse metoder benyttes Lipschitz-betingelsen, som indledningsvist vil blive introduceret. 2.2 Lipschitz-betingelsen Lipschitz-betingelsen er en restriktion for en funktions vækst. Den har bl.a. sin relevans i forbindelse med gradientmetoden, da den er med til at stille en garanti for, at gradientmetoden konvergerer mod et minimum. Definition 2.1 Funktionen f : V R, hvor V R n tilfredsstiller Lipschitz-betingelsen på mængden V, hvis der eksisterer en konstant M 0, således at f(x 1 ) f(x 2 ) M x 1 x 2 x 1, x 2 V (2.4) Funktionen f siges da at være Lipschitz-kontinuert på V. Følgende sætning angiver en betingelse for, at en funktion er Lipschitz-kontinuert. Sætning 2.2 Lad f : V R, hvor V R n, og lad f C 1. Funktionen f er Lipschitzkontinuert med konstanten M på mængden V, hvis de førsteordens partielt afledede er begrænset af konstanten M på mængden V. 45

55 2.2. LIPSCHITZ-BETINGELSEN KAPITEL 2. OPTIMERINGSMETODER Bevis Antag, at de førsteordens partielt afledede er begrænsede. Så vil der eksistere et M, således at f(x 0 ) M Da f C 1 (V, R), er f ifølge Sætning 1.30 differentiabel på V. Ifølge middelværdisætningen for flere variable (Theorem s. 416 (Wade, 2010)) gælder det for x 1, x 2 V og L(x 1, x 2 ) V, at der eksisterer et x 0 L(x 1, x 2 ), således at f(x 1 ) f(x 2 ) = f(x 0 ) (x 1 x 2 ) Ved brug af Cauchy-Schwarz ulighed (Theorem 8.5 s. 273 (Wade, 2010)) ses det, at f(x 1 ) f(x 2 ) = f(x 0 )(x 1 x 2 ) f(x 0 ) x 1 x 2 M x 1 x 2 og dermed er f Lipschitz-kontinuert. En funktion kan opfylde Lipschitz-betingelsen på et begrænset interval uden nødvendigvis at være Lipschitz-kontinuert på hele definitionsmængden. Dette illustreres i følgende eksempel. Eksempel 2.3. Lad f : I R, hvor I R, være givet ved f(x) = x 2. Find Lipschitzkonstanten M for f på intervallet [1, 3]. Undersøg desuden, om f opfylder Lipschitz-betingelsen på R. Det ses, at f (x) = 2x, og evalueret i endepunktet x = 3, fås f (3) = 6. Fra Sætning 2.2 har vi dermed, at f er Lipschitz-kontinuert på intervallet [1, 3] med konstanten M = 6. Er f(x) = x 2 Lipschitz-kontinuert på R? Hvis f er Lipschitz-kontinuert, da gælder f(x 1 ) f(x 2 ) M x 1 x 2 x 2 1 x 2 2 M x 1 x 2 x 1 x 2 x 1 + x 2 M x 1 x 2 x 1 + x 2 M Det ses af sidste ulighed, at vi altid kan vælge x 1 + x 2 til at være større end ethvert M. Det er derfor ikke muligt at finde et M, der opfylder Lipschitz-betingelsen for alle x 1, x 2 R. Dermed er f(x) = x 2 ikke Lipschitz-kontinuert på R. 46

56 KAPITEL 2. OPTIMERINGSMETODER 2.3. GRADIENTMETODEN I det følgende gives to eksempler, hvor den pågældende funktion hhv. er og ikke er Lipschitz-kontinuert. Eksempel 2.4. Lad a, b, c R, hvor a < b, og lad f : [a, b] R, hvor f(x) = cx. Vis, at f opfylder Lipschitz-betingelsen på [a, b]. Ifølge Definition 2.1 skal f opfylde uligheden f(x 1 ) f(x 2 ) = cx 1 cx 2 M x 1 x 2 Det ses, at cx 1 cx 2 = c x 1 x 2 M x 1 x 2 hvis c M. Dermed opfylder f Lipschitz-betingelsen. Eksempel 2.5. Lad f : I R, hvor I = (2, 4], og lad f(x) = 1 x 2. Vis, at f ikke er Lipschitz-kontinuert på I. Vi har for x (2, 4], at 1 x 2 = 1 x 2, så f(x 1 ) f(x 2 ) = 1 x x 2 2 = x 2 2 x (x 1 2)(x 2 2) = x 2 x 1 (x 1 2)(x 2 2) Når x 2 2+, har vi, at lim x 2 2+ x 2 x 1 (x 1 2)(x 2 2) = Der vil således aldrig findes en konstant M, som opfylder uligheden (2.4). Derved er f ikke Lipschitz-kontinuert på (2,4]. I de følgende afsnit ses det, at Lipchitz-betingelsen kan være nyttig i forbindelse med minimering ved hjælp af gradientmetoden. (Lipschitz-Condition-EoM, 2012) (D Ambroise, 2012) 2.3 Gradientmetoden Gradientmetoden er en descent-metode, som benytter sig af den negative gradient som søgeretning. Metoden er en førsteordens metode, idet den benytter sig af de førsteordens partielt afledede 47

57 2.3. GRADIENTMETODEN KAPITEL 2. OPTIMERINGSMETODER til at bestemme minima for en given funktion. Reelt set dækker gradientmetoden over en række metoder, som benytter sig af samme søgeretning, men hvor trinlængden bestemmes på forskellige måder (afsnit 2.3.1). (Snyman, 2005) Gradientmetoden genererer en følge givet ved iterationsformlen x k+1 = x k γ k f(x k ), k N 0 (2.5) hvor γ k bestemmes for hver iteration. Hvis metoden virker for den pågældende funktion f, vil {x k } konvergere mod et lokalt minimum for f. Hvorvidt følgen konvergerer eller ej, afhænger af en række egenskaber for funktionen. Med visse forudsætninger for funktionen og bestemte kriterier for valget af γ, kan det garanteres, at følgen konvergerer mod et lokalt minimum (afsnit 2.3.1). Men hvorfor benytter gradientmetoden sig netop af den negative gradient som søgeretning? I det følgende argumenteres der for, hvorfor der vælges denne søgeretning, når man ønsker at minimere en kontinuert differentiabel funktion f : R n R. Bemærk, at f antager et kritisk punkt i x, hvis f(x) = 0. Betragt den generelle iterationsformel for descent-metoder givet ved x k+1 = x k + γ k r k hvor r k er en retningsvektor, som angiver søgeretningen. Den førsteordens Taylorudvikling af g(γ) = f(x k + γr k ) i γ 0 = 0 er givet ved g(γ) = g(0) + g (0)(γ 0) + o(γ) = f(x k ) + ( f(x k ) r k )γ + o(γ) = f(x k ) + f(x k ), r k γ + o(γ) hvor o(γ)/γ 0, når γ 0. Udtrykket f(x k ), r k er den retningsafledte for f i punktet x k i retningen r k. Hvis retningen skal resultere i en aftagende funktionsværdi, skal den retningsafledte være negativ, dvs. f(x k ), r k < 0 Vi ønsker at bestemme et minimum, så det kræver, at vi vælger r k, så den retningsafledte er så negativ som mulig. Den retningsafledte for en differentiabel funktion er en lineær funktion, som er afhængig af retningen, og den har derfor ikke noget minimum medmindre f(x k ) = 0. For at kunne vælge retningen er det altså nødvendigt at begrænse længden af den pågældende 48

58 KAPITEL 2. OPTIMERINGSMETODER 2.3. GRADIENTMETODEN søgeretning. Dette kan f.eks. gøres ved minimer f(x k ), r under bibetingelsen r 2 f(x k ) 2 hvor f(x k ) holdes fast. Problemet består så i at bestemme den vektor r, indeholdt i kuglen med radius f(x k ), som resulterer i, at f(x k ), r bliver mindst mulig. Lad x R n, og noter den retningsafledte af f i retningen r ved D r f(x). Bemærk, at D r f(x k ) = f(x k ), r, og at den retningsafledte er givet ved D r f(x k ) = f(x k ), r = f(x k ) r cos θ hvor θ angiver vinklen mellem f(x k ) og r. Da cos θ kun kan antage værdier mellem 1 og 1, er den retningsafledte mindst, når cos θ = 1, og r er størst mulig, dvs. når r = f(x k ). Ved at vælge cos θ = 1 og r = f(x k ) fås, at D r f(x k ) = f(x k ) f(x k ) = f(x k ), f(x k ) Vi har dermed, at den retningsafledte er mindst, når r = f(x k ), og dermed fås formlen for gradientmetoden, som er givet ved x k+1 = x k γ f(x k ) (Ruszczynski, 2006) Figur 2.1 illustrerer, hvorledes gradientmetoden virker for en konveks funktion f, som antages at være defineret i planen. Da f er konveks, har dens graf form som en skål. De blå kurver er niveaukurver for f, og de røde pile, som udgår fra et punkt, angiver retningen for gradienten i dét punkt. Det ses, at følgen {x 0, x 1, x 2, x 3, x 4,...} genereret ved (2.5) konvergerer mod bunden af skålen - altså mod det punkt, hvor f antager et minimum. Gradientmetoden er dog en langsom algoritme, hvis niveaukurverne eksempelvis ikke er lige så cirkulære som ovenstående illustration. Hvis niveaukurverne for f er meget ellipseformede, kan metoden være relativ langsom. (Wiki-Gradient, 2012) I følgende eksempel illustreres, hvordan gradientmetoden bruges for en given funktion. Eksempel 2.6. Lad f(x 1, x 2 ) = x 1 x 2 +2x x 1 x 2 +x 2 2. Funktionen f har minimum i x = ( 1, 3/2). I det følgende illustreres det, hvordan gradientmetoden fungerer for f. Trinlængden γ bestemmes ved eksakt line search. 49

59 2.3. GRADIENTMETODEN KAPITEL 2. OPTIMERINGSMETODER Figur 2.1: Illustration af gradientmetoden (Wiki-Gradient, 2012) Gradienten for f er givet ved [ ] 1 + 4x1 + 2x 2 f(x 1, x 2 ) = 1 + 2x 1 + 2x 2 Vælg [ ] x 0 = (x 1, x 2 ) = (0, 0) som startpunkt for metoden. Det ses, at f(0, 0) = 0, og f(0, 0) = 1. Fra (2.5) har vi så, at 1 x 1 = Lad g være givet ved [ ] [ ] [ ] 0 1 γ0 γ 0 = 0 1 γ 0 (2.6) g(γ 0 ) = f( γ 0, γ 0 ) = γ 0 γ 0 + 2γ 0 2 2γ γ 0 2 = γ 0 2 2γ 0 Her vælges γ 0 til at være løsningen til ligningen g (γ 0 ) = 0. Vi har, at g antager minimum i γ 0, da g er konveks. Vi har, at g (γ 0 ) = 2γ 0 2 = 0, for γ 0 = 1, og ved indsættelse i (2.6) fås, at [ ] 1 x 1 = 1 50

60 KAPITEL 2. OPTIMERINGSMETODER 2.3. GRADIENTMETODEN [ ] 1 Nu bestemmes x 2. Det ses, at f(x 1 ) = f( 1, 1) =. Fra (2.5) har vi så, at 1 x 2 = [ ] 1 1 [ ] 1 γ 1 = 1 [ ] 1 + γ1 1 + γ 1 (2.7) Lad h være givet ved h(γ 1 ) = f( 1 + γ 1, 1 + γ 1 ) = 3γ 2 1 2γ Her vælges γ 1 til at være løsningen til ligningen h (γ 1 ) = 0. Vi har, at h antager minimum i γ 1, da h er konveks. Vi har, at h (γ 1 ) = 6γ 1 2 = 0 for γ 1 = 1 3 at x 2 = [ ] = 3 [ ] Nu bestemmes x 3. Det ses, at f(x 2 ) = f( 2 3, 4 3 ) = [ ] og ved indsættelse i (2.7) fås,. Fra (2.5) har vi så, at x 3 = [ ] [ ] γ = 3 [ 2 3 γ ] γ 2 (2.8) Lad k være givet ved k(γ 2 ) = f( 2 3 γ 2, γ 2) = 25 9 γ γ Her vælges γ 2 til at være løsningen til ligningen k (γ 2 ) = 0. Vi har, at k antager minimum i γ 2, da k er konveks. Så er k (γ 2 ) = 50 9 γ = 0 for γ 2 = 8 25, og ved indsættelse i (2.8) fås, at x 3 = [ ] = [ ] = [ ] 0, , 44 Det ses, at den genererede følge nærmer sig minimum for f. Ved yderligere iterationer vil det ses, at følgen konvergerer mod det eksakte minimum ved x = ( 1, 3/2). Gradientmetodens største fordel er, at den er simpel, og at udregningen af gradienten ikke er særlig ressourcekrævende. Men ønskes der f.eks. at minimere en konveks kvadratisk funktion, er gradientmetoden oftest et dårligt redskab, da den ikke normalt vil konvergere mod et minimum i løbet af et endeligt antal iterationer. Man kan risikere, at den genererede følge konvergerer meget langsomt, idet den zigzagger (illustreret i Figur 2.2). En anden ulempe 51

61 2.3. GRADIENTMETODEN KAPITEL 2. OPTIMERINGSMETODER er, at gradientmetoden normalt ikke konvergerer hurtigere end lineært. I praksis benyttes metoden kun, hvis man har en intuition om, hvor minimumspunktet befinder sig, og den anses derfor for at være en ringe optimeringsmetode. (E. de Klerk and Terlaky, 2012), (Boyd and Vandenberghe, 2004), (Hjorteland, 2012), (Wang, 2012) Figur 2.2: Iterationer for f(x) = 9x x 1 x 2 + x 2 2 (E. de Klerk and Terlaky, 2012) Som nævnt dækker gradientmetoden over en række metoder med ens træk, men hvor valg af trinlængde gøres forskelligt. I de følgende afsnit betragtes tre metoder til at bestemme trinlængden på fordelagtig vis Valg af trinlængde Ved brug af gradientmetoden ønskes det at generere en følge {x k }, som konvergerer mod et kritisk punkt. Det vil sige, at lim x k = x k hvor f(x ) = 0 Men hvorledes vælges trinlængden γ, og hvordan kan man være sikker på, at man ikke kommer til at tage for store skridt? I det følgende præsenteres tre metoder, som kan benyttes til at vælge γ samt til at sikre, at {x k } konvergerer mod et kritisk punkt ved brug af disse metoder. 52

62 KAPITEL 2. OPTIMERINGSMETODER 2.3. GRADIENTMETODEN Konstant trinlængde Første metode tager udgangspunkt i en konstant trinlængde γ, hvor γ > 0. Trinlængden vælges ud fra kriterierne i nedenstående sætning. Sætning 2.7 Lad følgen {x k } være givet ved x k+1 = x k γ f(x k ), k = 0, 1, 2,... Antag, at funktionen f : R n R er kontinuert differentiabel, og at dens gradient har Lipschitz konstant M, således at f(x) f(y) M x y for alle x, y R n. Antag ydermere, at funktionen f er nedadtil begrænset. Hvis γ opfylder 0 < γ < 1 M så for ethvert startgæt x 0, vil {x k } opfylde betingelsen lim f(x k) = 0 k og det vil gælde, at ethvert fortætningspunkt x for denne følge opfylder, at f(x ) = 0. (Ruszczynski, 2006, s. 219) Bevis Vi ser på den k te iteration. Ved brug af middelværdisætningen (Theorem s. 416(Wade, 2010)) fås, at f(x k+1 ) = f(x k + γr k ) = f(x k ) + f(ˆx) T (x k + γr k x k ) = f(x k ) + γ f(ˆx), r k hvor ˆx = x k + θγr k og θ [0, 1]. Heraf fås f(x k+1 ) = f(x k ) + γ f(x k ), r k + γ f(ˆx), r k γ f(x k ), r k = f(x k ) + γ f(x k ), r k + γ f(ˆx) f(x k ), r k f(x k ) + γ f(x k ), r k + γ f(x k ) f(ˆx) r k 53

63 2.3. GRADIENTMETODEN KAPITEL 2. OPTIMERINGSMETODER at Ved at sætte r k = f(x k ) og ved brug af gradientens Lipschitz-konstant (afsnit 2.2) fås, f(x k+1 ) f(x k ) γ f(x k ) 2 + γm x k ˆx f(x k ) (2.9) Da ˆx L(x k, x k+1 ), vil x k ˆx være opadtil begrænset af x k x k+1 = γ f(x k ). Så giver (2.9), at f(x k+1 ) f(x k ) γ f(x k ) 2 + γ 2 M f(x k ) 2 = f(x k ) γ(1 γm) f(x k ) 2 (2.10) Det gælder per antagelse, at γ(1 γm) > 0, og det følger heraf, at f(x k+1 ) f(x k ) for alle k, så {f(x k )} er ikke-voksende. Da f desuden er nedadtil begrænset, vil følgen have en grænseværdi. Derfor er Ved at kombinere (2.10) og (2.11) ses det, at lim [f(x k) f(x k+1 )] = 0 (2.11) k 0 γ(1 γm) f(x k ) 2 [f(x k ) f(x k+1 )] Fra denne ulighed følger det fra Squeeze Theorem (Theorem 9.14.i s. 314 (Wade, 2010)), at lim γ(1 γm) f(x k) 2 = 0 k og da γ(1 γm) > 0, vil f(x k ) konvergere mod 0. Når x er et fortætningspunkt for {x k }, så ved vi fra Lemma 1.37, at der findes en delfølge {x kj }, så lim j x kj 1.38 fås, at ethvert fortætningspunkt x for følgen {x k } opfylder, at f(x ) = 0. = x. Fra Lemma Sætning 2.7 stiller således en garanti for, hvornår gradienten konvergerer mod nul, men den garanterer ikke, at følgen {x k } konvergerer. Hvis {x k } derudover er begrænset, vil følgens fortætningspunkter være kritiske punkter. Der vil så eksistere delfølger af x k, konvergerer mod fortætningspunkterne. Alle punkter x k udregnet vha. metoden tilhører mængden X 0 = {x R n : f(x) f(x 0 )} fordi f(x k+1 ) f(x k ) for alle k. Følgende eksempel illustrerer, hvordan gradientmetoden med konstant trinlængde benyttes. Eksempel 2.8. Find minimum for funktionen f givet ved f(x, y) = x 2 + y 2 ved hjælp af gradientmetoden med konstant trinlængde. 54

64 KAPITEL 2. OPTIMERINGSMETODER 2.3. GRADIENTMETODEN Gradienten for f er givet ved [ ] 2x f(x, y) = 2y Ifølge Sætning 2.7 skal gradienten for f opfylde Lipschitz-betingelsen. Det fås, at [ ] [ ] 2a1 2b1 f(a) f(b) = 2a 2 2b 2 = 2 [ a1 a 2 ] [ b1 b 2 ] = 2 a b Det vil sige, at Lipschitz-konstanten M = 2. Trinlængden bestemmes nu til at være 0 < γ < 1/M = 1/2. Vælg trinlængden til γ = 1/5. Vores initierende gæt er x 0 = [10 10]. x 1 =x 0 γ f(x 0 ) = [10 10] 2 1/5 [10 10] = [6 6] x 2 =x 1 γ f(x 1 ) = [6 6] 2 1/5 [6 6] = [ ] x 3 =x 2 γ f(x 2 ) = [ ] 2 1/5 [ ] = [ ] x 4 =x 3 γ f(x 3 ) = [ ] 2 1/5 [ ] = [ ] x 5 =x 4 γ f(x 4 ) = [ ] 2 1/5 [ ] = [ ] x 6 =x 5 γ f(x 5 ) = [ ] 2 1/5 [ ] = [ ] x 7 =x 6 γ f(x 6 ) = [ ] 2 1/5 [ ] = [ ] x 8 =x 7 γ f(x 7 ) = [ ] 2 1/5 [ ] = [ ] x 9 =x 8 γ f(x 8 ) = [ ] 2 1/5 [ ] = [ ] x 10 =x 9 γ f(x 9 ) = [ ] 2 1/5 [ ] = [ ] x 100 =x 99 γ f(x 99 ) = [6.533e e 22 ] x =x γ f(x ) = [9.881e e 324 ] Det ses, at følgen nærmer sig [0 0]. Da f er en konveks funktion, som er nedadtil begrænset af 0, har vi, vha. konstant trinlængde bestemt et minimumspunkt for funktionen. Ved brug af den beskrevne metode til bestemmelse af en konstant trinlængde, er det nødvendigt, at gradienten opfylder Lipschitz-betingelsen for en kendt konstant M. For at undgå at finde en Lipschitz-konstant M, er det i stedet muligt at bruge 2-hældnings-testen til bestemmelse af trinlængden. (Ruszczynski, 2006) 55

65 2.3. GRADIENTMETODEN KAPITEL 2. OPTIMERINGSMETODER Figur 2.3: Illustration af 2-hældnings-testen (Ruszczynski, 2006) 2-hældnings-testen 2-hældnings-testen, som er illustreret i Figur 2.3, er en metode, som benytter sig af to koefficienter 1 > α 1 > α 2 > 0 og, som accepterer alle trinlængder γ, som opfylder φ(0) + α 1 γφ (0) φ(γ) φ(0) + α 2 γφ (0), (2.12) hvor φ(γ) = f(x k γ f(x k )) og φ(γ) har en afledt i 0, der er givet ved φ (0) = f(x k 0 f(x k )) T ( f(x k )) = f(x k ) 2 (2.13) Fra (2.12) og (2.13) fås, at 2-hældnings-testen er givet ved ulighederne f(x k ) α 1 γ k f(x k ) 2 f(x k γ k f(x k )) f(x k ) α 2 γ k f(x k ) 2 (2.14) 56

66 KAPITEL 2. OPTIMERINGSMETODER 2.3. GRADIENTMETODEN Følgende sætning angiver en række betingelser, som skal være opfyldt for at sikre, at gradientmetoden med 2-hældnings-test konvergerer mod et kritisk punkt. Sætning 2.9 Antag, at funktionen f : R n R er kontinuert differentiabel, og funktionens gradient har Lipschitz-konstant M. Antag desuden, at mængden X 0 = {x R n : f(x) f(x 0 )} er begrænset. Så er følgen {x k } genereret ud fra gradientmetoden med 2-hældnings-test begrænset, og ethvert fortætningspunkt x for denne følge opfylder, at f(x ) = 0. Bevis Da α 2 og γ k > 0 følger det, at den højre ulighed i (2.14) giver f(x k+1 ) f(x k ), k = 0, 1, 2,... Mængden X 0 er lukket i R n, fordi X 0 = f 1 (], x 0 ]), f er kontinuert, og ], x 0 ] er lukket. Mængden X 0 er per antagelse begrænset. Derfor er følgen {f(x k )} også lukket og begrænset og dermed konvergent (Theorem 2.19 s. 53 (Wade, 2010)). Desuden giver den højre ulighed i (2.14), at Heraf fås, at 0 f(x k+1 ) f(x k ) α 2 γ k f(x k ) 2 0 γ k f(x k ) 2 f(x k) f(x k+1 ) α 2 Da f(x k ) er konvergent, vil f(x k ) f(x k+1 ) 0, når k. Ved brug af dette og Theorem 3.9 s. 73(Wade, 2010) fås, at lim γ k f(x k ) 2 = 0 (2.15) k Vi skal nu undersøge implikationerne af den venstre ulighed i (2.14). Uligheden i (2.10) forbliver sand, selvom M ikke er kendt. Så fås, at f(x k+1 ) f(x k ) γ k (1 γ k M) f(x k 2 (2.16) Ved en kombination af (2.16) samt den venstre ulighed i (2.14) fås f(x k ) α 1 γ k f(x k ) 2 f(x k ) γ k (1 γ k M) f(x k ) 2 Heraf fås, at α 1 γ k f(x k ) 2 γ k (1 γ k M) f(x k ) 2 57

67 2.3. GRADIENTMETODEN KAPITEL 2. OPTIMERINGSMETODER Dette betyder enten, at f(x k ) = 0 eller, at α 1 γ k γ k (1 γ k M) og vi har, at γ k 1 α 1 M > 0 Disse betingelser og (2.15) medfører som krævet, at lim f(x k) = 0, k da γ k ikke konvergerer mod 0. Ifølge Lemma 1.37 gælder, at, når x er et fortætningspunkt for {x k }, så findes en delfølge {x kj }, så lim j x kj ethvert fortætningspunkt x for følgen {x k } opfylder, at f(x ) = 0. = x. Ifølge Lemma 1.38 betyder det, at (Ruszczynski, 2006, s. 220) Her følger et eksempel, som illustrerer hvordan 2-hældnings-testen anvendes. Eksempel Betragt funktionen f : R 2 R, givet ved f(x, y) = x 2 + y 2 Det ønskes at bestemme værdien af γ vha. 2-hældnings-testen [ ] med koefficienterne α 1 = 0, 8 1 og α 2 = 0, 5. Vi starter ved et vilkårligt punkt x 0 =. Gradienten til f(x 0 ) er givet ved 1 f(x 0 ) = Det næste punkt x 1 har formen [ ] [ ] 2x 2 = 2y 2 [ ] [ ] 1 2 x 1 = x 0 γ f(x 0 ) = γ 1 2 Da 2-hældnings-testen accepterer alle trinlængder γ, som opfylder uligheden i (2.12), ønskes det nu at udregne hvert led i denne ulighed. 58

68 KAPITEL 2. OPTIMERINGSMETODER 2.3. GRADIENTMETODEN ([ ] [ ]) 1 2 φ(γ) = f(x 0 γ f(x 0 ) = f γ 1 2 = (1 2γ) 2 + (1 2γ) 2 = 2(1 + 4γ 2 4γ) = 8γ 2 8γ + 2 Ved γ = 0 har vi φ(0) = 2 Indsættes de fundne værdier i uligheden φ (0) = f(x 0 ) 2 = ( ) 2 = 8 φ(0) + α 1 γφ (0) φ(γ) φ(0) + α 2 γφ (0) (2.17) fås, at 2 8 0, 8γ 8γ 2 8γ , 5γ 6, 4γ 8γ 2 8γ 4γ 6, 4 8γ 8 4 0, 2 γ 0, 5 Ifølge (2.17) kan γ vælges i intervallet [0, 2; 0, 5]. Ved indsættelse af trinlængden γ = 0, 2 i iterationsformel, får vi næste punkt [ ] [ ] [ ] 1 2 0, 6 x 1 = x 0 γ f(x 0 ) = 0, 2 = 1 2 0, 6 Dette punkt er da udgangspunktet for næste iteration, og herfra bestemmes næste trinlængde på samme vis. Vi har hermed vist, hvordan man vha. 2-hældnings-testen kan bestemme et γ indenfor et interval, således at 2-hældnings-testen genererer en følge {x k }. For at garantere, at følgen {x k } konvergerer mod et kritisk punkt, skal funktionen f opfylde betingelserne i 59

69 2.3. GRADIENTMETODEN KAPITEL 2. OPTIMERINGSMETODER Sætning 2.9. Vi har, at f : R 2 R er kontinuert differentiabel, da f består af polynomiske led. Desuden har funktionen Lipschitz-konstanten M = 2, som vi så i Eksempel 2.8. Til sidst skal vi undersøge om mængden X 0 = {x R n : f(x) f(x 0 )} er begrænset. Lad x 0 = (b, c), så er f(x 0 ) = b 2 + c 2. Et punkt (x 1, x 2 ) udenfor kulgen med radius b 2 + c 2 og centrum (0, 0) opfylder, at x x 2 2 > b 2 + c 2. Vi får, at f(x 1, x 2 ) = x x 2 2 > b 2 + c 2 = f(x 0 ) Altså er f(x 1, x 2 ) > f(x 0 ) for x 1, x 2 udenfor kuglen. Så alle punkter x 1, x 2, som ligger udenfor kuglen, er ikke med i X 0. Dermed vist, at X 0 er begrænset til at være indeholdt i kuglen. Betingelserne i Sætning 2.9 er da opfyldt, og derfor vil en følge, genereret vha. 2-hældningstesten, konvergere mod et kritisk punkt. Retningsbestemt minimering Den sidste metode, der præsenteres, kaldes retningsbestemt minimering. Her vælges γ ved at minimere funktionen φ k (γ) = f(x k + γr k ), γ > 0 Grunden til, at dette er en brugbar metode, er, at φ er en funktion af én variabel, og dermed kan φ minimeres på en effektiv måde. Følgende sætning opstiller en garanti for at gradientmetoden med retningsbestemt minimering genererer en følge, der konvergerer mod et kritisk punkt. Sætning 2.11 Antag, at funktionen f : R n R er kontinuert differentiabel, og at mængden X 0 = {x R n : f(x) f(x 0 )} er begrænset. Så genererer gradientmetoden med retningsbestemt minimering en følge af punkter {x k }, sådan at hvert af følgens fortætningspunkter x opfylder f(x ) = 0. (Ruszczynski, 2006, s. 222) Følgende eksempel illustrerer, hvordan gradientmetoden med retningsbestemt minimering bruges til at bestemme trinlængden. 60

70 KAPITEL 2. OPTIMERINGSMETODER 2.3. GRADIENTMETODEN Eksempel Betragt funktionen f : R 2 R defineret ved, f(x 1, x 2 ) = 1 2 x a 2 x 2 2 med a 1 For at bestemme [ ] minimum for f ved hjælp af gradientmetoden, starter vi ved et vilkårligt a punkt x 0 =. Det vises først, at metoden genererer en følge af punkter givet ved 1 x k = ( ) [ ] a 1 k a a + 1 ( 1) k (2.18) Dette bevises ved hjælp af induktion. For k = 0 er (2.18) tydeligvis opfyldt. Antag, at (2.18) gælder for k, så fås, at f(x k ) = [ x1 ax 2 ] = ( ) [ ] a 1 k a a + 1 ( 1) k a Det næste punkt x k+1 har formen ( ) [ ] a 1 k ( ) [ ] a a 1 k a x k+1 = γ a + 1 ( 1) k k a + 1 ( 1) k a ( ) [ ] a 1 k a(1 γ k ) = a + 1 ( 1) k (1 aγ k ) (2.19) Trinlængden γ findes ved at minimere funktionen φ k (γ) med hensyn til γ. Dvs. vi finder den afledte af φ(γ) og sætter den lig 0. φ k (γ) = f(x k γ f(x k )) ( (a ) [ ]) 1 k a(1 γ k ) = f a + 1 ( 1) k (1 aγ k ) = 1 ( ) a 1 2k (a 2 (1 γ) 2 + a(1 aγ) 2 ) 2 a

71 2.3. GRADIENTMETODEN KAPITEL 2. OPTIMERINGSMETODER og φ k (γ) = 1 ( ) a 1 2k (2a 2 (1 γ)( 1) + 2a(1 aγ)( a)) 2 a + 1 = 1 ( ) a 1 2k 2a 2 ( 1 + γ + ( 1 + aγ)) 2 a + 1 = 1 ( ) a 1 2k 2a 2 (γ(1 + a) 2) 2 a + 1 Sættes φ k (γ) = 0, fås γ k = 2 a + 1 Indsættes værdien af γ k i (2.19), fås ( ) [ ] a 1 k+1 a x k+1 = a + 1 ( 1) k+1 Nu er det vist ved induktion, at (2.18) holder for alle k. Vi har med andre ord vist, hvordan man vha. retningsbestemt minimering kan bestemme γ k, som i dette specielle tilfælde er konstant. Hvis f opfylder antagelserne i Sætning 2.11, vil følgens fortætningspunkter være kritiske punkter. Vi har, at f : R 2 R er kontinuert differentiabel, da f består af polynomiske led. I det følgende argumenteres der for at mængden X 0 = {x R n : f(x) f(x 0 )} er begrænset? Lad x 0 = (b, c), så er f(x 0 ) = 1 2 b2 + a 2 c2 a 2 (b2 + c 2 ) Et punkt (x 1, x 2 ) udenfor kuglen med radius a(b 2 + c 2 ) og centrum i (0, 0) opfylder, at x x 2 2 > a(b 2 + c 2 ). Vi får, at f(x 1, x 2 ) = 1 2 x a 2 x (x x 2 2 ) > a 2 (b2 + c 2 ) f(x 0 ) Altså er f(x 1, x 2 ) > f(x 0 ) for x 1, x 2 udenfor kuglen. Så alle punkter x 1, x 2, som ligger udenfor kuglen, er ikke med i X 0. Dermed er X 0 begrænset til at være indeholdt i kuglen. Præmisserne i Sætning 2.11 er således opfyldt, og følgens fortætningspunkter er dermed kritiske punkter for f. ( k Da a 1 a+1) 0, når k, er {xk } konvergent. Følgens grænseværdi vil ifølge Sætning 2.11 være et kritisk punkt. Desuden er f strengt konveks, da Hesse-matricen H (x, y) = 62

72 KAPITEL 2. OPTIMERINGSMETODER 2.4. NEWTON-RAPHSONS METODE [ ] 1 0 er positiv definit. Altså konvergerer den genererede følge mod et minimumspunkt. 0 a (Ruszczynski, 2006) 2.4 Newton-Raphsons metode Newton-Raphsons metode er en iterativ algoritme, der anvendes med henblik på at finde rødderne af en given funktion f, altså løsninger til ligningen f(x) = 0. Vi ønsker at finde en rod r til funktionen f, således at f(r) = 0. Hvis f er differentiabel nær roden, vil tangentlinjer til grafen for f kunne bruges til at danne en følge {x n } n N, så {x n } konvergerer mod r, for n (se Figur 2.4). Figur 2.4: Newton-Raphsons metode (Astarmathsphysics, 2012) Start med et kvalificeret gæt for værdien af et nulpunkt x = x 0. Tegn tangentlinjen til f(x) i punktet (x 0, f(x 0 )) og find x 1, som er tangentlinjens skæring med x-aksen. Gentag, men nu med x = x 1. Fortsættes der således iterativt, vil følgen {x n } konvergere mod r, når 63

73 2.4. NEWTON-RAPHSONS METODE KAPITEL 2. OPTIMERINGSMETODER n. Tangenten til f(x) i punktet (x n, f(x n )) skærer således x-aksen i x n+1. Tangentlinjen til f(x) i x = x 0 har ligningen f(x) = f(x 0 ) + f (x 0 )(x x 0 ) Da punktet (x 1, 0) ligger på denne linje fås, at f(x 0 ) + f (x 0 )(x 1 x 0 ) = 0 x 1 = x 0 f(x 0) f (x 0 ) Tilsvarende bestemmes x 2 ud fra x 1, x 3 ud fra x 2 osv. Generelt findes x n+1 vha. iterationsformlen. x n+1 = x n f(x n) f (x n ) (2.20) Følgende eksempel illustrerer, hvorledes Newton-Raphsons metode virker. (Adams and Essex, 2010) Eksempel Udregn 9, 06 vha. Newton-Raphsons metode. Problemet svarer til at skulle finde nulpunkter for funktionen f(x) = x 2 9, 06 Den afledte af f er f (x) = 2x Et tilnærmet gæt på roden er x 0 = 3, da 9 ligger tæt på 9, 06. Vi har således, at f(x 0 ) = f(3) = 0, 06 f (3) = 6, og ved indsættelse i iterationsformlen (2.20) fås x 1 = 3 0, 06 6 = 3, 01 Proceduren gentages med x 1 = 3, 01. Vi har, at f(3, 01) = 9, , 06 = 0, 0001 og f (3, 01) = 6, 02, og ved indsættelse i iterationsformlen (2.20) fås, at x 2 = 3, 01 0, , Efter to iterationer har vi fundet en tilnærmet værdi for 9, 06 til at være 3, Til sammenligning er 9, 06 = 3, ved angivelse af 13 decimaler. I ovenstående eksempel er Newton-Raphsons metode særdeles effektiv, og efter blot to 64

74 KAPITEL 2. OPTIMERINGSMETODER 2.4. NEWTON-RAPHSONS METODE iterationer giver metoden et rimelig nøjagtigt resultat. Jo flere iterationer, der foretages, jo tættere kommer man på det faktiske nulpunkt. Som det ses i ligning (2.28), vil følgen {x n } konvergere mod roden kvadratisk. I foregående eksempel virkede Newton-Raphsons metode uden problemer, men der findes situationer, hvor metoden kan fejle: Hvis det første gæt, eller efterfølgende gæt, er et punkt, som har en vandret tangent. I så fald vil tangentlinjen aldrig ramme x-aksen, og metoden vil ikke konvergere mod en rod. Hvis der er en horisontal tangentlinje, er den afledte lig 0, og iterationsformlen (2.20) kan dermed ikke benyttes. Hvis iterationerne giver svingende værdier, vil metoden ikke virke. Hvis der er to rødder, skal det første gæt være i nærheden af den rod vi er interesserede i, ellers kan vi risikere, at metoden finder den anden rod i stedet. Hvis der ingen rødder er. Eksempel Brug Newton-Raphsons metode, givet ved iterationsformlen (2.20), til at bestemme nulpunkter for f(x) = x 1/3. Vi har, at f (x) = 1 3 x 2/3. Heraf fås, at x n+1 = x n x n 1/3 1/3x n 2/3 = x n 3x n = 2x n Vælg x 0 = 1, så fås, at x 1 = 2, x 2 = 4, x 3 = 8 Vi får, at x n = ( 1) n 2 n, og at værdierne kommer længere og længere fra nulpunktet x = 0 for hver iteration. Newton-Raphsons metode fejler her, selvom det er tydeligt, at der er en rod i x = 0, hvilket viser, at metoden ikke konvergerer i alle tilfælde. Følgende sætning angiver, hvilke krav en funktion skal opfylde, for at garantere, at Newton- Raphsons metode anvendt på den pågældende funktion konvergerer mod et nulpunkt. Sætning 2.15 Lad f : [a, b] R være kontinuert på [a, b] og f(c) = 0 for et c (a, b). Hvis f eksisterer samt er begrænset på (a, b), og der er et ε 0 > 0, således at f (x) ε 0 for alle x (a, b), så er der et lukket interval I (a, b) indeholdende c, således at (givet x 0 I) følgen {x n } n N defineret ved 65

75 2.4. NEWTON-RAPHSONS METODE KAPITEL 2. OPTIMERINGSMETODER opfylder x n I og x n c, når n. x n = x n 1 f(x n 1) f (x n 1 ), n N (2.21) Bevis Vælg M > 0, således at f (x) M for x (a, b). Vælg r 0 (0, 1) så lille, at I = [c r 0, c + r 0 ] er et delinterval af (a, b) og r 0 < ε 0 /M. Antag, at x 0 I, og definer følgen M M {x n } ved (2.31). Sæt r = r 0 ε 0, og observer ved valget af r 0, at r = r 0 ε er det tilstrækkeligt at vise, at følgende to uligheder holder for alle n N. < ε M M ε = 1. Derved x n c r n x 0 c (2.22) og x n c r 0 (2.23) Bemærk, at første ulighed sikrer, at x n c og anden ulighed sikrer, at x n I. Beviset udføres ved induktion på n. Ulighederne (2.22) og (2.23) er sande for n = 0. Fasthold nu n N og antag, at x n 1 c r n 1 x 0 c (2.24) og x n 1 c r 0 (2.25) Brug nu Taylors formel 1.46 og vælg et punkt ξ, som ligger mellem c og x n 1, således at f(c) = f(x n 1 ) + f (x n 1 )(c x n 1 ) f (ξ)(c x n 1 ) 2 Da f(c) = 0 fås, at f(x n 1 ) = f (x n 1 )(c x n 1 ) f (ξ)(c x n 1 ) 2 (2.26) Da (2.21) indikerer f(x n 1 ) = f (x n 1 )(x n x n 1 ) (2.27) 66

76 KAPITEL 2. OPTIMERINGSMETODER 2.4. NEWTON-RAPHSONS METODE følger det fra (2.26) og (2.27), at f (x n 1 )(c x n 1 ) f (ξ)(c x n ) 2 = f (x n 1 )(x n x n 1 ) f (x n 1 )(x n c) = 1 2 f (ξ)(c x n 1 ) 2 Løses denne ligning i forhold til x n c fås, som følge af valget M og ε 0, følgende x n c = f (ξ) 2f (x n 1 ) x n 1 c 2 M x n 1 c 2 (2.28) 2ε 0 Da M/ε 0 < 1/r 0, følger det fra (2.28) og (2.25), at x n c M ε 0 x n 1 c 2 1 r 0 r 0 2 = r 0 Dette beviser (2.23). Som følge af (2.28) og (2.24) og valget af r fås x n c M ε 0 (r n 1 x 0 c ) 2 = r r 0 (r 2n 2 x 0 c 2 ) = r 2n 1 1 r 0 x 0 c x 0 c (2.29) Fra basistrinet har vi, at x 0 c r 0 1 r 0 x 0 c 1, og dermed fås fra (2.29), at x n c r 2n 1 x 0 c Da r < 1 og 2n 1 n medfører det, at r 2n 1 r n, og så kan det konkluderes, at Dette beviser (2.22). x n c r 2n 1 x 0 c r n x 0 c. (Wade, 2010, s. 262) Bemærk ved (2.28), at følgen som sagt {x n } konvergerer kvadratisk. Groft sagt betyder det, at antallet af korrekte decimaler efter et vist antal iterationer fordobles for hver iteration. (Boyd and Vandenberghe, 2004, s. 489) Ved brug af metoden for funktioner, som ikke opfylder alle antagelser i Sætning 2.15, skal man dog være opmærksom på, at den genererede følge {x n } ikke i alle tilfælde vil konvergere. Dette ses i Eksempel 2.14, hvor f ikke opfylder alle antagelserne i sætningen; f er differentiabel på R\{0} (da f har vertikal tangent i 0), men 67

77 2.5. NEWTONS METODE KAPITEL 2. OPTIMERINGSMETODER det gælder ikke, at f(c) = 0 for et c R\{0}, og dermed er alle antagelser i Sætning 2.15 ikke imødekommet. Newton-Raphsons metode bruges, som nævnt, til at bestemme nulpunkter for funktioner. I følgende afsnit beskrives Newtons metode, som er en udvidet udgave af Newton-Raphsons metode, idet den bruges til at bestemme kritiske punkter for en funktion, altså nulpunkter for funktionens afledte. 2.5 Newtons metode I afsnit 2.4 blev det beskrevet, hvorledes Newton-Raphsons metode anvendes til at bestemme nulpunkter for en funktion af én variabel. I det følgende beskrives, hvorledes metoden kan modificeres til at bestemme kritiske punkter for funktioner af én eller flere variable. Den modificerede metode kaldes Newtons metode. Indledningsvist betragtes en funktion f : [a, b] R, hvor a, b R. x kaldes et kritisk punkt for en funktion f, hvis f (x) = 0 (se afsnit 1.4). Der ønskes, således at bestemme nulpunkter for den afledte f. Hvis f substitueres med f, og f med f i iterationsformlen (2.20) kan vi bestemme nulpunkter for den afledte f ved x n+1 = x n f (x n ) f (x n ) (2.30) Analogt til Sætning 2.15 stiller følgende sætning en garanti for, hvornår følgen genereret ved (2.30) konvergerer mod et kritisk punkt for f. Sætning 2.16 Lad f : [a, b] R være kontinuert på [a, b] og f (c) = 0 for et c (a, b). Hvis f (3) eksisterer samt er begrænset på (a, b), og der er et ε 0 > 0, således at f (x) ε 0 for alle x (a, b), så er der et lukket interval I (a, b) indeholdende c, således at (givet x 0 I) følgen {x n } n N defineret ved opfylder x n I og x n c, når n. x n = x n 1 f (x n 1 ) f (x n 1 ), n N (2.31) 68 (Wade, 2010, s. 262)

78 KAPITEL 2. OPTIMERINGSMETODER 2.5. NEWTONS METODE Formlen (2.30) udledes vha. Taylors formel (1.6). Hvis f er dobbelt differentiabel i en omegn af x n, da vil polynomiet P 2 (x) = f(x n ) + f (x n )(x x n ) + f (x n ) (x x n ) 2 2 tilfredsstille lighederne P 2 (x n ) = f(x n ), P 2 (x n) = f (x n ) og P 2 (x n) = f (x n ). P 2 vil således beskrive funktionsværdien af f nær x n bedre end et ethvert andet polynomium af grad højst 2. Bemærk, at P 2 (x) er en parabel med toppunkt i x, hvis P 2 (x) = 0. P 2(x) = f (x n ) + f (x n )(x x n ) = 0 x x n = f (x n ) f (x n ) x n+1 = x n f (x n ) f (x n ) (Adams and Essex, 2010, s. 272) Dermed fås (2.30). Følgende eksempel viser, hvorledes Newtons metode kan bruges til at bestemme en funktions kritiske punkter. 69

79 2.5. NEWTONS METODE KAPITEL 2. OPTIMERINGSMETODER Eksempel Brug Newtons metode, givet ved iterationsformlen (2.30), til at bestemme kritiske punkter for f(x) = e x 2x 2. Da de kritiske punkter findes ved x-værdier, hvor f (x) = 0, skal der bestemmes løsninger til ligningen f (x) = e x 4x = 0 Der forventes at være to rødder til f, da grafen for f har to lokale ekstrema i I = [ 3, 3] (Se Figur 2.5.). Den andenordens afledede er f (x) = e x 4. Figur 2.5: To lokale ekstrema for f(x) = e x 2x 2. Start med at indsætte x 0 = 0 i (2.30) og fortsæt iterativt for at bestemme den mindste rod med 6 betydende cifre. x 1 = x 0 f (x 0 ) f = 0, (x 0 ) x 2 = x 1 f (x 1 ) f = 0, (x 1 ) x 3 = x 2 f (x 2 ) f = 0, (x 2 ) x 4 = x 3 f (x 3 ) f = 0, (x 3 ) Det ses, at x 3 = x 4, hvorfor det ikke er nødvendigt at foretage yderligere iterationer. Bestem f (0, ) for at se om x = 0, er et nulpunkt for f. Det ses, at f (0, ) = 70

80 KAPITEL 2. OPTIMERINGSMETODER 2.5. NEWTONS METODE 1, Efterfølgende findes den anden rod med 6 betydende cifre ved at indsætte x 0 = 5 i (2.30), og der itereres på samme måde som før. x 1 = x 0 f (x 0 ) f = 4, (x 0 ) x 2 = x 1 f (x 1 ) f = 3, (x 1 ) x 3 = x 2 f (x 2 ) f = 2, (x 2 ) x 4 = x 3 f (x 3 ) f = 2, (x 3 ) x 5 = x 4 f (x 4 ) f = 2, (x 4 ) x 6 = x 5 f (x 5 ) f = 2, (x 5 ) x 7 = x 6 f (x 6 ) f = 2, (x 6 ) x 8 = x 7 f (x 7 ) f = 2, (x 7 ) x 9 = x 8 f (x 8 ) f = 2, (x 8 ) Det ses, at x 8 = x 9, hvorfor det ikke er nødvendigt at foretage yderligere iterationer. Der tjekkes ligeledes, om x = 2, er et nulpunkt for f. Det ses, at f (2, 15329) = 1, De kritiske punkter for f findes således ved x = 0, og x = 2, 15329, når x bestemmes med 6 betydende cifre Newtons metode - flere variable I det foregående er Newtons metode kun blevet anvendt og beskrevet for funktioner af én variabel. Men metoden kan også benyttes til at bestemme kritiske punkter for funktioner af flere variable ved en modificering af iterationsformlen (2.30). I iterationsformlen for en funktion af flere variable vil funktionens Hesse-matrix samt dens gradient indgå. f (x) f (x) I Newtons metode for funktioner af én variabel tages der et skridt fra x i retningen for at bestemme næste element i følgen. Analogt til dette tager man, for en funktion 71

81 2.5. NEWTONS METODE KAPITEL 2. OPTIMERINGSMETODER f : R n R et skridt fra x i retningen x = 2 f(x) 1 f(x) for at bestemme næste element i følgen, hvor f(x) er gradienten og 2 f(x) Hesse-matricen i x. Analogt til tilfældet for funktioner af én variabel har vi, for funktioner af flere variable, at Newtons metode genererer en følge {x n } ud fra iterationsformlen x n+1 = x n 2 f(x n ) 1 f(x n ) (2.32) Bemærk, at Newtons metode kun kan bruges, hvis Hesse-matricen er invertibel. Metoden fungerer ligeledes ved at vælge et startpunkt x 0, som indsættes i iterationsformlen, hvorved x 1 bestemmes. Således fortsættes der iterativt, hvorved følgen {x n } genereres. Hvis Hessematricen er positiv definit, medfører dette, at f(x) T x = f(x) T 2 f(x) 1 f(x) < 0, (2.33) medmindre f(x) = 0. Det ses heraf, at skridtet foretages i en retning, hvor funktionen er aftagende, dvs. at f(x n+1 ) f(x n ). Følgende sætning angiver, i hvilke tilfælde, der er garanti for at den genererede følge konvergerer mod et minimumspunkt. Sætning 2.18 Antag, at f : R n R er to gange differentiabel, og at Hesse-matricen 2 f(x) er positiv definit for alle x i mængden X 0 = {x : f(x) f(x 0 )}. Antag desuden, at mængden X 0 er begrænset. Så vil følgen {x n }, genereret vha. Newtons metode, konvergere mod et minimum x for f. (Ruszczynski, 2006, s. 234) I det følgende vil der blive argumenteret for, hvorfor x kan være en velvalgt retning, når man ønsker at bestemme minimum for en funktion f. Lad f : R n R, og lad f C 2. Bemærk, at Hesse-matricen for f er symmetrisk, hvilket indebærer, at Hesse-matricens inverse ligeledes er symmetrisk. Betragt det andenordens 72

82 KAPITEL 2. OPTIMERINGSMETODER 2.5. NEWTONS METODE Taylorpolynomium P 2 f,x (x + v), som ifølge (1.10) er givet ved P 2 f,x (x + v) = f(x) + f(x) T (x + v x) (x + v x)t 2 f(x)(x + v x) = f(x) + f(x) T v vt 2 f(x)v Dette er en konveks kvadratisk funktion; Kvadratisk fordi der højst indgår kvadratiske led, og konveks fordi Hesse-matricen er positiv definit. For at bestemme minimum til P 2 f,x (x + v), differentieres denne mht. v og sættes lig 0. Deraf fås at, P 2 = f(x) + 2 f(x)v = 0 Heraf fås, at og dermed er 2 f(x)v = f(x) v = 2 f(x) 1 f(x) = x Det ses heraf - og pga. konveksitet af det andenordens Taylorpolynomium - at v = x er den størrelse, der skal adderes til punktet x for at minimere P f,x 2 (x + v) (se Figur 2.6). Det andenordens Taylorpolynomium approksimerer f godt, hvis man er tæt nok på det punkt Taylorpolynomiet evalueres i. Intuitivt følger det heraf, at x ofte vil være en velvalgt retning, når det ønskes at bestemme minimum for f. Figur 2.6: Funktionen f og dens andenordens Taylorpolynomium P f,x 2 (Boyd and Vandenberghe, 2004) Foregående evaluering af det andenordens Taylorpolynomium i forhold til søgeretningen, giver desuden følgende information om metoden. Da P f,x 2 (x + x) = f(x + x), hvis f er 73

83 2.5. NEWTONS METODE KAPITEL 2. OPTIMERINGSMETODER kvadratisk, vil Newtons metode i dette tilfælde konvergere mod et minimum i løbet af første iteration. Følgende eksempel illustrerer, at Newtons metode konvergerer mod et minimum i én iteration, når funktionen der betragtes er en strengt konveks, kvadratisk funktion. Eksempel Eksemplet her er simpelt og kan løses let, men regnes her vha. Newtons metode for at illustrere metodens konvergens for en kvadratisk funktion. Lad f : R 2 R være den kvadratiske funktion givet ved f(x, y) = 4x 2 + xy + y 2 Vi ønsker at se om følgen genereret ved (2.32) konvergerer mod et kritisk punkt, hvis der startes i x 0 = [1, 1]. Først bestemmes de første- og andenordens partielt afledede til f. f f = 8x + y, x y = x + 2y 2 f x 2 = 8, 2 f y 2 = 2, f y x = 1 [ ] 8 1 Hesse-matricen for f er givet ved H (x, y) =. Da Hesse-matricen ikke afhænger af x 1 2 og y, vil den forblive det samme, uanset hvilket punkt x = [x, y], der betragtes i R 2. Hessematricen skal være invertibel og positiv definit, for at Newtons metode kan bruges til at bestemme et minimum. Egenværdierne for Hesse-matricen er større end nul, og dermed er Hesse-matricen positiv definit. Den inverse matrix eksisterer, da ] det(h (x, y)) 0 for alle x R 2 og den inverse er givet ved H (x, y) 1 = M = [ f(1, 1) = [9, 3]. Newtons metode køres igennem med startgættet x 0 = [1, 1]. x 1 = x 0 M f(1, 1) x 1 = [0, 0] Næste trin foretages fra x 1 og er givet ved Gradienten i x 0 = [1, 1] er x 2 = x 1 M f(0, 0) x 2 = [0, 0] Det ses, at x = [0, 0] burde være et kritisk punkt, da den genererede følge er konvergeret 74

84 KAPITEL 2. OPTIMERINGSMETODER 2.5. NEWTONS METODE herimod. Gradienten for i punktet x = [0, 0] er givet ved f(0, 0) = [ , ] = [0, 0] Da gradienten i x = [0, 0] er lig 0, og fordi f er strengt konveks, er [0, 0] et globalt minimum. Det ses, at metoden her konvergerer i løbet af én iteration, og dette skyldes, at f er en kvadratisk funktion. Følgende eksempel viser, hvordan Newtons metode kan benyttes på en ikke-kvadratisk funktion. Eksempel Lad f : R 2 R være funktionen givet ved f(x, y) = x 4 + y 4 + y + x Vi vil gerne se, om følgen genereret ved (2.32) konvergerer mod et kritisk punkt, hvis der startes i x 0 = [ 1, 1]. Først bestemmes de første- og andenordens partielt afledede til f. f x = 4x3 + 1, f y = 4y f x 2 = 12x2, 2 f y 2 = 12y2, f y x = 0 [ ] 12x 2 0 Hesse-matricen for f er således givet ved H (x, y) =. Det ses, at denne er positiv definit, og udfra Sætning 1.56 ved vi, [ at funktionen ] er strengt konveks. 0 12y I punktet x 0 = [ 1, 1] er H ( 1, 1) = [ ] 1 Den inverse hertil er H ( 1, 1) = Før første iteration foretages, noteres det, at f( 1, 1) = [ 3, 3]. Newtons metode benyttes med udgangspunkt i x 0 = [ 1, 1]. x 1 = x 0 H 1 ( 1, 1) f( 1, 1) = [ 0, 75; 0, 75] Næste trin foretages fra x[ 1. Den nye ] Hesse-matrix for dette punkt [ og dens ] inverse er givet 6, ved H ( 0, 75; 0, 75) = og H 1 6,75 0 ( 0, 75; 0, 75) = , ,75 75

85 2.5. NEWTONS METODE KAPITEL 2. OPTIMERINGSMETODER Gradienten i punktet x 1 er givet ved f( 0, 75; 0, 75) = [ 0, 6875; 0, 6875] næste punkt i følgen er givet ved x 2 = x 1 H 1 ( 0, 75; 0, 75) f( 0, 75, 0, 75) = [ 0, ; 0, ] Næste punkt kræver igen, at der findes en ny invertibel Hesse-matrix og gradient ud fra punktet x 2. De næste to punkter i følgen angives uden beregninger. x 3 = [ ; ] x 4 = [ ; ] Det ses, at x 4 burde være tæt på et kritisk punkt, da den genererede følge er konvergeret herimod. Vi får, at f( , ) = ( 0, ; 0, ) Det eksakte minimum kan udregnes ved at sætte gradienten lig nul. f(x, y) = [4x 3 + 1, 4y 3 + 1] = 0 heraf følger ( 1 4x = 0 x = 4 ( 1 4y = 0 y = 4 ) 1 3 0, ) 1 3 0, Det ses, at det udregnede minimum er lig med det eksakte minimum optil 6 decimaler. Så punktet x 4 er tæt på et kritisk punkt, og da f er strengt konveks, er dette kritiske punkt tæt på det globale minimum. Set i relation til gradientmetoden er en af ulemperne ved Newtons metode, at udregningen af Hesse-matricen samt dens inverse er en ressourcekrævende udregning i forhold til udregning af gradienten. Denne ulempe vejes dog op af, at metoden benytter sig af en bedre søgeretning. Ved minimering af konvekse kvadratiske funktioner konvergerer følgen genereret ved Newtons 76

86 KAPITEL 2. OPTIMERINGSMETODER 2.6. HESSE-MATRIX Figur 2.7: De stiplede linjer repræsenterer niveaukurver for en konveks funktion. Pilen viser f(x), som er retningen for gradientmetoden, og x+ x viser trinet for Newtons metode. (Boyd and Vandenberghe, 2004) metode, som nævnt, mod minimum ved én iteration. Følgen konvergerer generelt set hurtigt sammenlignet med følgen genereret ud fra gradientmetoden, og nær kritiske punkter konvergerer den kvadratisk. Figur 2.7 illustrerer forskellen på søgeretningen for gradientmetoden og Newtons metode. (Boyd and Vandenberghe, 2004), (E. de Klerk and Terlaky, 2012) 2.6 Hesse-matrix Hesse-matricen er den kvadratiske matrix bestående af funktionens andenordens partielt afledede. Hesse-matricen kan bruges til at karakterisere en funktions kritiske punkter, hvilket vil blive vist i nærværende afsnit. Den anvendes også i Newtons metode til at bestemme en funktions kritiske punkter. 77

87 2.6. HESSE-MATRIX KAPITEL 2. OPTIMERINGSMETODER Her følger en basal definition på en Hesse-matrix. Definition 2.21 Givet en to gange differentiabel funktion f : V R, hvor V R n, så er Hesse-matricen 2 f en n n-matrix, hvis i, j te indgang er x 2 2 f x i x j (x) (Find-Holger-Noter, 2012, s. 128) Skematisk har en Hesse-matrix formen f 11 (x) f 12 (x)... f 1n (x) f 21 (x) f 22 (x)... f 2n (x) H (x) = f n1 (x) f n2 (x)... f nn (x) hvor indgangene er de andenordens partielt afledede af f. Bemærk, at hvis f C 2 er Hessematricen en symmetrisk matrix, da f ij = f ji. Hesse-matricens anvendelighed i forhold til bestemmelse af ekstremumsværdier kommer til udtryk i følgende sætning kaldet anden afledede test. Sætning 2.22 Lad V være åben i R n, f : V R og a V. Antag, at a er et kritisk punkt for f. Antag desuden, at alle andenordens partielt afledede af f er kontinuerte nær a, således at Hesse-matricen H (x) også er kontinuert nær a. i) Hvis H (a) er positiv definit, så har f et lokalt minimum i a. ii) Hvis H (a) er negativ definit, så har f et lokalt maksimum i a. iii) Hvis H (a) er indefinit, så har f et saddelpunkt i a. iv) Hvis H (a) er hverken positiv definit, negativ definit eller indefinit, så giver anden afledede test ingen information. 78

88 KAPITEL 2. OPTIMERINGSMETODER 2.6. HESSE-MATRIX Bevis Del i) Lad g(t) = f(a + th) for 0 t 1, hvor h R n. Så er g (t) = g (t) = n f i (a + th)h i i=1 n i=1 j=1 n f ij (a + th)h i h j = h T H (a + th)h Fra Taylors formel med Lagrange restled 1.46 for g fås, at g(1) = g(0) + g (0) g (θ) for et θ mellem 0 og 1. Så n f(a + h) = f(a) + f i (a)h i ht H (a + θh)h Da a er et kritisk punkt for f, er f i (a) = 0 for i = 1, 2,..., n, så i=1 f(a + h) f(a) = 1 2 ht H (a + θh)h (2.34) Hvis H (a) er positiv definit, så pga. Hesse-matricens kontinuitet, er H (a + θh) for h tilstrækkelig lille også positiv definit, dvs. højre side af uligheden (2.34) er positiv, og derfor er f(a + h) f(a) > 0 for h 0, og det medfører, at f har et lokalt minimum i a. Del ii) og iii) bevises tilsvarende. Del iv). Funktionerne f(x, y) = x 4 +y 4, g(x, y) = x 4 y 4 og h(x, y) = x 4 y 4 antager alle et kritisk punkt i (0, 0), og for alle tre funktioner gælder, at Hesse-matricen i (0, 0) hverken er positiv definit, negativ definit eller indefinit. Men de tre funktioner antager hhv. et minimum, maksimum og saddelpunkt i (0, 0) (se Figur 2.8, 2.9 og 2.10), og dermed giver anden afledede test ingen information. (Adams and Essex, 2010, s. 746) Følgende eksempel viser, hvordan man ved hjælp af Hesse-matricen kan beskrive en funktions ekstrema. Eksempel Givet en funktion f(x, y) = x 3 + x 2 y y 2 4y. Find de kritiske punkter for f og klassificer disse. 79

89 2.6. HESSE-MATRIX KAPITEL 2. OPTIMERINGSMETODER Figur 2.8: f(x, y) = x 4 + y 4 antager minimum i (0, 0) Figur 2.9: f(x, y) = x 4 y 4 antager maksimum i (0, 0) De kritiske punkter er løsning til følgende ligninger: 0 = f 1 (x, y) = 3x 2 + 2xy 0 = x(3x + 2y) (2.35) 0 = f 2 (x, y) = x 2 2y 4 (2.36) (2.35) er opfyldt, når x = 0 eller 3x+2y = 0, dvs. hvis y = 3x 2. Vi betragter disse to løsninger separat, og for hvert tilfælde findes løsningen til (2.36). 80

90 KAPITEL 2. OPTIMERINGSMETODER 2.6. HESSE-MATRIX Figur 2.10: f(x, y) = x 4 y 4 antager saddelpunkt i (0, 0) a) Lad x = 0. Indsæt x = 0 i (2.36), hvilket giver 0 2y 4 = 0 y = 2 Så (0, 2) et kritisk punkt for f. b) Lad y = 3x 2 og indsæt det i (2.36), hvilket giver ( ) 3x x = 0 x 2 + 3x 4 = 0 2 (x 1)(x + 4) = 0 x = 1 x = 4 Indsæt hhv. x = 1 og x = 4 i (2.36) for at bestemme y. Derved fås yderligere to kritiske punkter (1, 3/2) og ( 4, 6). Hermed er der fundet tre kritiske punkter for f. Nu [ mangler vi ] at klassificere de kritiske 6x + 2y 2x punkter. Hesse-matricen er givet ved H (x, y) =. Vi skal betragte Hessematricen for de tre kritiske punkter (0, 2), (1, 3/2), ( 4, 6). 2x 2 [ ] 4 0 H (0, 2) = 0 2 λ 1 < 0, λ 2 < 0 og det(h (0, 2)) = 8, og dermed er H (0, 2) negativ definit, og f antager 81