Optimeringsteori. Tenna Andersen, Tina Sørensen, Majbritt Lundborg, Søren Foged, Jeppe Gravers, Kenneth Andersen & Oskar Aver

Transkript

1 Optimeringsteori Tenna Andersen, Tina Sørensen, Majbritt Lundborg, Søren Foged, Jeppe Gravers, Kenneth Andersen & Oskar Aver 20/12/2012

2

3 Institut for Matematiske Fag Matematik-Økonomi Fredrik Bajers Vej 7G Telefon Titel: Optimeringsteori Projektperiode: Efterårsårssemesteret 2012 Projektgruppe: G3-119 Deltagere: Tenna Hovedskou Andersen Tina Sørensen Majbritt Kure Lundborg Søren Foged Jeppe Mulbjerg Gravers Kenneth Andersen Oskar Aver Synopsis: I dette projekt beskrives nogle metoder til optimering af forskellige typer af funktioner under forskellige forudsætninger og begrænsninger. Forud for behandlingen af disse optimeringsmetoder beskrives og eftervises teori, der ligger til grund for metoderne. Sidst i projektet optimeres nogle fiktive problemstillinger, for at eksemplificere metoderne. Kendetegnende for hele projektet er, at der er lagt væsentlig vægt på generalitet og bevisførelse. Vejleder: Nikolaj Hess-Nielsen Oplagstal: 10 Sidetal: 68 Bilagsantal: 0 Afsluttet den 20/12/2012 Rapportens indhold er frit tilgængeligt, men offentliggørelse (med kildeangivelse) må kun ske efter aftale med forfatterne.

4

5 Indhold 1 Indledning 4 2 Bagvedliggende teori Åbne og lukkede mængder Én dimension Flere dimensioner Begrænsede mængder Kompakte mængder Kontinuitet Én dimension Flere dimensioner Differentiabilitet Én dimension Flere dimensioner Fremgangsmåde for påvisning af differentiabilitet Teori om konveksitet og konkavitet Optimerings-teori Optimering af funktioner uden bibetingelser Funktioner af én variabel Funktioner af flere variable Konveks optimering Hesse-matricen Anvendelse af Hesse-matricen Lineær programmering Den grafiske metode Bibetingelser Niveaukurver Simplex-metoden Dualitet

6 20/12/2012 G3-119 INDHOLD Ekstrema for LP-problemer Lagrange-multiplikatorer Sætning og bevisførelse ifm. to variable og én bibetingelse Bevis for tre variable og én bibetingelse Optimering af funktion under én bibetingelse Sætning og bevis for tre variable og to bibetingelser Lagrange multiplikator under m bibetingelser Anvendelse 61 5 Konklusion 66 Litteratur 68 3

7 Kapitel 1 Indledning Formålet med dette projekt er at beskrive og eksemplificere forskellige metoder til løsning af forskellige optimeringsproblemer, samt udlede nogle centrale resultater i denne sammenhæng. Både teori for lineære og ikke-lineære problemstillinger behandles. Der er lagt vægt på, at teorien gælder i de fleste optimeringssammenhænge og således er mange af resultaterne udledt og/eller beskrevet for R n. Som det første i den videre læsning findes et kapitel med teori, der danner grundlag for det efterfølgende. Denne teori beskriver blandt andet mængder, kontinuitet og differentiabilitet, og i hvert tilfælde behandles det pågældende emne for én og flere dimensioner. Dernæst følger selve optimerings-metoderne, som eksempelvis Lineær Programmering og Lagrange-Multiplikatormetoden. I dette kapitel både udledes, beskrives og eksemplificeres metoderne. Endeligt afsluttes teorien med yderligere eksemplificering, i form af et kapitel, hvor de forskellige metoder kombineres og anvendes på fiktive problemstillinger. 4

8 Kapitel 2 Bagvedliggende teori 2.1 Åbne og lukkede mængder Åbne og lukkede mængder er centrale begreber inden for matematisk analyse, idet det ofte er afgørende om en betragtet mængde er åben eller lukket. I følgende underafsnit defineres disse to typer mængder i henholdsvis én og flere dimensioner Én dimension De simpleste mængder i det én-dimensionelle rum, er intervaller på den reelle tallinje. Man kan definere åbne og lukkede intervaller på følgende måde: Definition af åbne og lukkede intervaller Lad a og b være reelle tal. Et lukket interval kan skrives som: [a, b] := {x R a x b}, (, b] := {x R x b} [a, ) := {x R a x}, eller (, ) := R Og et åbent interval kan skrives som: (a, b) := {x R a < x < b}, (a, ) := {x R a < x}, (, b) := {x R x < b} eller (, ) := R Intervallet I siges at være begrænset hvis og kun hvis det er på formen: [a, b], [a, b), (a, b] eller (a, b), hvor < a b < og a og b siges at være I s endepunkter. I alle andre tilfælde siges I at være ubegrænset. 5

9 20/12/2012 G3-119 Bagvedliggende teori Bemærk, at forskellen på det åbne og det lukkede interval er, at endepunkterne a og b er med i det lukkede [a, b] men ikke i det åbne (a, b). Definition af en åben mængde i R En mængde E R er åben, hvis der til ethvert x E findes et ε > 0, således at intervallet (x ε, x + ε) er indeholdt i E. Definition af en lukket mængde i R En mængde E siges at være lukket hvis komplementærmængden E c (eller R \ E) er åben. Komplementet til intervallet [a, b], som kan skrives [a, b] c = {x R x < a} {x R x > b}, alternativt )a, b(, er en åben mængde, dvs. samtlige punkter i [a, b] c er indre punkter. Ligeledes kan man skrive komplementet til intervallet (a, b) som: (a, b) c = {x R x a} {x R x b}, alternativt ]a, b[, og det er en lukket mængde. Eksempel Intervallet I = (0, 1] er hverken åbent eller lukket: Punktet x = 1 er indeholdt i I, men ingen omegn af punktet x = 1 er indeholdt i I. Intervallet er, ifølge ovenstående definition, ikke åbent. Intervallet er heller ikke lukket, da komplementærmængden I c = (, 0] (1, ) ikke er åben i x = 0. Eksempel Mængderne R og er både åbne og lukkede, da følgende gælder: Betragt et vilkårlig punkt x indeholdt i R. Enhver omegn af x består af reelle tal, og må derfor også være indeholdt i R. Herved er R åben. Betragt den tomme mængde. Da ikke indeholder nogen punkter, opfylder definitionen for en åben mængde. Komplementærmængden til R er den tomme mængde, og denne er åben. Det følger derfor af ovenstående definition, at R er lukket. Tilsvarende er R, som er en åben mængde, komplementærmængden til. Det følger igen af ovenstående definition, at den tomme mængde er lukket. (Wachsmuth 2012) 6

10 20/12/2012 G3-119 Bagvedliggende teori Flere dimensioner I flere dimensioner bliver det lidt mere kompliceret, fordi mængder i R n kan være meget grimme. Den åbne mængde, svarende til det åbne interval, i flere dimensioner kaldes den åbne kugle. Denne kugle har et centrum i et punkt i R n, en radius større end 0, og består af alle punkter med en afstand fra centrum som er stærkt mindre end radius. Ligesom for intervallet er kantmængden altså ikke med i den åbne mængde. Man kan definere det på følgende måde: Definition af en åben mængde i R n En mængde E R n siges at være åben i R n hvis der til ethvert punkt x E findes en kugle B r (x) E med centrum i x og positiv radius r. Figur 2.1: Åben mængde Dette er illustreret i figur 2.1 og man kan se, at hvis punktet x måtte ligge på kanten af E, så ville man ikke kunne finde en kugle B r (x) med radius større end nul, så det stadig gælder at B r (x) E. For at kunne finde en sådan kugle med centrum i x må det nødvendigvis gælde, at afstanden fra x til kanten er større end 0, dvs. x er et indre punkt. Havde mængden E derimod været lukket, så måtte x gerne ligge på kanten. (Wikiversity 2012) Begrænsede mængder Følgende definition beskriver hvornår, og hvad det vil sige, at en mængde er begrænset. 7

11 20/12/2012 G3-119 Bagvedliggende teori Definition af en begrænset mængde Lad E være en ikke-tom delmængde af R. E siges at være opadtil begrænset hvis og kun hvis der findes et M R således at x M for alle x E og i så fald siges M at være en øvre grænse for E. Omvendt siges E at være nedadtil begrænset hvis og kun hvis der findes et m R således at x m for alle x E og i så fald kaldes m en nedre grænse for E. Et tal s kaldes supremum for E, benævnt sup(e), hvis og kun hvis s er en øvre grænse for E og det gælder, at s M for alle øvre grænser M af E. Ligeledes kaldes et tal t infimum for E, benævnt inf(e), hvis og kun hvis t er en nedre grænse for E og det gælder, at t m for alle nedre grænser m af E. E er begrænset hvis og kun hvis den både er opadtil og nedadtil begrænset. (Wade 2010, s ) Hvorvidt en mængde kan have flere øvre grænser (alt. nedre grænser) og supremum (alt. infimum) giver følgende sætninger svar på: Sætning for grænser Hvis en mængde har én øvre grænse har den uendeligt mange øvre grænser. Bevis Hvis M 0 er en øvre grænse for mængden E, så er M ligeledes en øvre grænse for E for alle M M 0. Sætning for supremum Hvis en mængde har et supremum, så har den kun ét supremum. Bevis Lad s 1 og s 2 være suprema for E. Så er både s 1 og s 2 øvre grænser for E og definitionen for begrænsede mængder siger, at s 1 s 2 og s 2 s 1. Derfor må det gælde, at s 1 = s 2. Bemærk at de to ovenstående sætninger kan laves analogt for nedre grænser og infima. 8

12 20/12/2012 G3-119 Bagvedliggende teori Kompakte mængder En bestemt type mængder er de såkaldte kompakte mængder: Definition en kompakt mængde Lad E være en delmængde af R n. En åben overdækning af E er en samling af mængder {V α } α F hvor F er en mængde af index, så V α er åben for alle α F og E V α. α F En mængde E siges at være kompakt hvis og kun hvis en hvilken som helst åben overdækning af E har en endelig deloverdækning. Med andre ord er E kompakt hvis og kun hvis der for en vilkårlig åben overdækning {V α } α F findes en endelig delmængde F 0 = {α 1, α 2,..., α N } F således at N E V αi. i=1 Eksempel Vis at intervallet A = (0, 2) ikke er kompakt. Antag, at A er kompakt. Så findes der ifølge definitionen ovenfor, en endelig deloverdækning til enhver overdækning af A. Defineres en overdækning {V n } n 2 := ( 1 n, 2 1 n ) ses det, at A = n=2 V n, idet 1 n 0 og 2 1 n 2 for n. Hvis A er kompakt må der findes endeligt N således at n N men det medfører, at A N V n. n=2 Altså findes der ikke en endelig deloverdækning til enhver åben overdækning af A, og dermed er A ikke kompakt. Eksempel Vis, at W = [0, 2] er kompakt. Antag det modsatte, at W ikke er kompakt. Så findes der mindst én åben overdækning O, til hvilken, der ikke findes en endelig deloverdækning som stadig dækker W. Dermed kan enten [0, 1] eller [1, 2] (eller begge) ikke dækkes af et endeligt antal åbne mængder fra O. Lad [a 1, b 1 ] være en halvdel der ikke kan dækkes af et endeligt antal åbne mængder fra O. Bruges samme argument på [a 1, b 1 ] fås to nye intervaller hvor mindst ét af dem ikke kan dækkes af et endeligt antal åbne mængder fra O. Fortsættes denne metode induktivt haves der til sidst en følge af indlejrede lukkede intervaller {[a n, b n ]} n=1 hvoraf ingen er dækket af et endeligt antal åbne mængder fra O. Desuden ses det, at længden af intervallerne b n a n = 2 2 går mod 0 for n. n 9

13 20/12/2012 G3-119 Bagvedliggende teori Ifølge Cantors Nested Interval Property (Wade 2010, s. 55), som ikke er yderligere beskrevet i dette projekt, er fællesmængden for samtlige af disse intervaller et enkelt punkt p = n=1 [a n, b n ]. Idet p [0, 2] må der findes et endeligt åbent interval I O så p I. Da I er et åbent interval eksisterer der ε > 0 således at intervallet (p ε, p + ε) I. Lad N være et positivt heltal således at 2 2 N < ε. Så må det gælde at p [a N, b N ], hvilket medfører at p [a N, b N ] (p ε, p + ε) I. Dette strider mod antagelsen, og dermed må intervallet [0, 2] kunne dækkes af en endelig deloverdækning af O. (Royster 1999, s ) Den sidste sætning i dette underafsnit er en vigtig egenskab, som vil blive brugt i de efterfølgende afsnit. Heine-Borel Sætningen Lad E være en delmængde af R n. E er kompakt hvis og kun hvis E er lukket og begrænset. For bevis af sætningen henvises til (Wade 2010, s. 309). 10

14 20/12/2012 G3-119 Bagvedliggende teori 2.2 Kontinuitet Kontinuerte funktioner spiller en stor rolle i dette projekt, og derfor defineres og beskrives sådanne funktioner i de følgende to underafsnit. Først præsenteres nogle hovedsætninger, der gælder for R, og dernæst udvides til mere generelle sætninger for R n Én dimension Kontinuerte funktioner kan defineres på følgende måde: Definition af en kontinuert funktion Lad E være en ikke-tom delmængde af R og lad f : E R - f siges at være kontinuert i et punkt a E, hvis og kun hvis der for et vilkårligt ε > 0 findes et δ > 0 således at: x a < δ og x E medfører f(x) f(a) < ε. - f siges at være kontinuert på E, hvis og kun hvis f er kontinuert i alle x E. At en funktion er kontinuert, betyder altså, at der er en sammenhæng mellem hvor tæt funktionsværdierne ligger, og hvor tæt de tilhørende værdier i definitionsmængden ligger. Den følgende sætning viser, at hvis E er et åbent interval og a E, så er f kontinuert i punktet a ækvivalent med f(x) f(a) når x a. Beviset herfor undlades, idet det bygger direkte på en sætning, der ikke indgår i dette projekt. Kontinuitet i et åbent interval Lad I være et åbent interval som indeholder a og f : I R. Da er f kontinuert i a I hvis og kun hvis: lim f(x) = f(a). x a Den følgende sætning viser et overlap mellem teorien bag kontinuitet og talfølger. Beviset for ekstremalværdi-sætningen, der findes herunder, bygger blandt andet på denne sætning. 11

15 20/12/2012 G3-119 Bagvedliggende teori Kontinuitet og talfølger Antag, at E er en ikke-tom delmængde af R, at a E og at f : E R. Så er følgende udsagn ækvivalente: - f er kontinuert i a E. - Hvis {x n } konvergerer mod a og {x n } E, så f(x n ) f(a) når n. Følgende er en definition af begrænsede funktioner. Ubegrænsede funktioner er, ikke overraskende, funktioner, der ikke er begrænsede. Ubegrænsede funktioner kan være problematiske i en optimeringssituation, da sådanne funktioner ofte ikke har globale ekstrema. Af denne grund er definitionen af begrænsede funktioner central for dette projekt. Definition af begrænsede funktioner Lad E være en ikke-tom delmængde af R. En funktion f : E R siges at være begrænset på E, hvis og kun hvis der findes et M R, således at f(x) M og et m R så f(x) m, for alle x E. En funktion er med andre ord begrænset på en mængde, hvis der findes en øvre og nedre grænse for, hvilke funktionsværdier der kan antages. Ekstremalværdi-sætningen viser, at kontinuerte funktioner på lukkede og begrænsede intervaller, har endelige maksima og minima i definitionsmængden. I forbindelse med at funktioner undersøges for ekstrema, er dette en væsentlig sætning. Ekstremalværdi-sætningen Hvis I er et lukket og begrænset interval og f : I R er kontinuert på I, så er f begrænset på I. Ydermere, hvis: M := sup f(x) og m := inf f(x), x I x I M og m er endelige så eksisterer punkterne x m, x M I således at: f(x M ) = M og f(x m ) = m. 12

16 20/12/2012 G3-119 Bagvedliggende teori Bevis Først bevises det at f er begrænset på I, hvilket gøres med et modstridsbevis. Derfor antages det, at f ikke er begrænset på I. Så eksisterer der en følge x n I således at f(x n ) > n, n N. Da I er begrænset, vides det (på baggrund af Bolzano-Weierstrass sætning, se evt. (Wade 2010, s. 56)) at {x n } har en konvergent delfølge, x nk a når k. Da I er et lukket interval, må det gælde at a I Bemærk at f(a) R. Hvis man substituerer n med n k i f(x n ) > n og tager grænseværdien heraf, for k, så har man at f(a) =. Dette er en modstrid, da / R. For at vise, at der eksisterer et x M I, så f(x M ) = M, antages det modsatte, nemlig at f(x) < M, for alle x I. Da kan en kontinuert funktion på intervallet I, opstilles således: g(x) = 1 M f(x) Som vist tidligere i beviset, er kontinuerte funktioner på et lukket begrænset interval, begrænsede, hvilket derfor er tilfældet med g. Dermed findes et C > 0, således at g(x) = g(x) C. Dermed fås f(x) M 1 C for alle x I. Tages supremum for f i ovenstående udtryk fås at M M 1 C < M, hvilket er en modstrid. Dermed kan det ikke gælde at f(x) < M, for alle x I, men det må derimod være tilfældet at der eksisterer et x M I således at f(x M ) = M. På tilsvarende vis kan det bevises at der eksisterer et x m I således at f(x m ) = m. (Wade 2010, s ) 13

17 20/12/2012 G3-119 Bagvedliggende teori Flere dimensioner Kontinuerte funktioner i R n defineres på følgende måde, der i særdeles høj grad ligner den tilsvarende definition i R: Definition af kontinuerte funktioner i R n Lad E være en ikke-tom delmængde af R n og lad f : E R m - f siges at være kontinuert i a E, hvis og kun hvis der for alle ε > 0 findes et δ > 0 således at: x a < δ og x E medfører f(x) f(a) < ε. - f siges at være kontinuert på E, hvis og kun hvis f er kontinuert i alle x E. Den næste sætning viser, at en funktion på en kompakt mængde afbilleder ind i en kompakt mængde. Denne egenskab benyttes i beviset for Ekstremalværdi-sætningen i R n, som findes herunder. Funktioner på kompakte mængder Hvis E er kompakt i R n og f : E R m er kontinuert på E, så er f(e) kompakt i R m. Følgende sætning ligner næsten til forveksling den tilsvarende udgave for R, som tidligere er beskrevet. Beviset for denne mere generelle udgave drager nytte af viden om kompakte mængder. Ekstremalværdi-sætningen i R n Antag, at E er en ikke-tom delmængde af R n og at f : E R. Hvis E er kompakt og f er kontinuert på E, så er M og m endelige, hvor Ydermere, eksisterer x M, x m E, således at: M := sup f(x) og m := inf f(x). x E x E f(x M ) = M og f(x m ) = m. Bevis Idet E er en kompakt mængde, er f(e) kompakt ifølge sætningen om Funktioner på kompakte mængder. Altså er f(e) lukket og begrænset ifølge Heine-Borel-Sætningen, fra underafsnit Idet f(e) er begrænset, findes et endeligt supremum M. Som følge af at E er begrænset, kan der 14

18 20/12/2012 G3-119 Bagvedliggende teori vælges en følge x k E således at f(x k ) M for k. Eftersom f(e) er lukket, må det gælde at M f(e). Derfor findes et x M E, således at M = f(x M ). På samme vis kan det bevises, at der eksisterer x m E, så m = f(x m ). (Wade 2010, s ) De nødvendige begreber om kontinuerte funktioner, være det sig funktioner af én eller flere variable, er hermed gennemgået. Dette afsnit afsluttes med et eksempel på en funktion, der er diskontinuert i ét punkt. Eksempel Vis, at funktionen f(x) = { x x hvis x 0 1 hvis x = 0 ikke er kontinuert på R. Da f(x) = 1 for x 0 må det gælde, at lim x 0+ f(x) = 1 findes og f(x) f(a) når x a for ethvert a 0. Derfor er f ifølge definitionen Kontinuitet i et åbent interval kontinuert på intervallet [0, ). Ligeledes eksisterer lim x 0 f(x) = 1 og derfor er f også kontinuert på (, 0). Men da lim x 0+ f(x) lim x 0 f(x) så findes grænseværdien for f(x) for x 0 ikke (ifølge sætning 3.14 (Wade 2010, s. 78)) og f er ikke kontinuert i 0. Derfor er f ikke kontinuert på R. (Wade 2010, s. 88) I det næste afsnit vil et emne, som er meget sammenhængende med kontinuitet blive gennemgået, nemlig differentiabilitet. 2.3 Differentiabilitet Når der skal optimeres over en funktion, dvs. der skal findes ekstrema for en given funktion, så er differentiabilitet ofte en vigtig egenskab. Denne egenskab bruges til at finde tangenter for funktionen, og tangenternes hældning kan så undersøges. I dette afsnit behandles differentiabilitet for funktioner af én og flere variable og nødvendige sætninger introduceres Én dimension Allerførst vil den grundlæggende definition for differentiabilitet blive præsenteret. 15

19 20/12/2012 G3-119 Bagvedliggende teori Differentiabilitetssætning I Givet en funktion f : I R, hvor I er et åbent interval og I R. Da er f differentiabel i et punkt a I, hvis f (a) = lim h 0 f(a + h) f(a) h eksisterer. Er dette tilfældet, siges f (a) at være den afledede af f i a. En grafisk fortolkning af dette, er som følger. Betragt en kontinuert funktion og vælg et punkt (a, f(a)) på denne og dernæst et andet punkt (a + h, f(a + h)). Bemærk at hældningen af sekanten, der går igennem punkterne er givet ved: f(a + h) f(a) h Idet a + h a, for h 0, så går hældningen af sekanten defineret ved (2.1) mod hældningen af tangenten i punktet a. Tages grænseværdien til (2.1) for h 0, så bliver hældningen af tangenten i punktet a lige præcis f (a). Den afledede af en funktion kan skrives på forskellige måder, i dette projekt anvendes følgende: f (x) = df dx. Følgende sætninger er forudsætninger for de efterfølgende sider 1. (2.1) Differentiabilitetssætning II En reel funktion f er differentiabel i et punkt a R, hvis og kun hvis der eksisterer et åbent interval I og en funktion F : I R, således at a I, f er defineret på intervallet, F er kontinuert i a og følgende ligning holder for alle x I: f(x) = F (x)(x a) + f(a), hvilket medfører at F (a) = f (a). Differentiabilitetssætning III En reel funktion er differentiabel i et punkt a, hvis og kun hvis der eksisterer en funktion T på formen T (x) := mx således at: f(a + h) f(a) T (h) lim = 0. h 0 h 1 For beviserne for disse sætninger, henvises der til (Wade 2010, s ). 16

20 20/12/2012 G3-119 Bagvedliggende teori I forrige kapitel er begrebet kontinuitet forklaret. Der præsenteres nu en sætning, hvormed man kan koble begreberne kontinuitet og differentiabilitet sammen. Kontinuitet og differentiabilitet Hvis f er differentiabel i et punkt a, så er f kontinuert i a. Bevis Det antages først at f er en differentiabel funktion. Derefter er resultatet givet ved Differentiabilitetssætning 2. Tages grænseværdien af f(x) = F (x)(x a) + f(a), når x a kan det ses at: lim f(x) = F (a) 0 + f(a) = f(a) x a Med andre ord kan det konkluderes, at f(x) f(a) når x a, hvilket vil sige, at f er kontinuert på a, jf. Definition af kontinuerte funktioner. Differentiationen i et enkelt punkt er blevet defineret. Dette udvides nu til, hvornår en funktion er differentiabel på et helt interval. Dette indledes med nedenstående sætning: Differentiabilitet på intervaller Lad I være et ikke-tomt interval. Da gælder: 1. En funktion f : I R siges at være differentiabel på intervallet, hvis og kun hvis: f I(a) := lim x a f(x) f(a) x a eksisterer for alle a I 2. f siges at være kontinuert differentiabel på intervallet, hvis og kun hvis f I er kontinuert på I. eksisterer og Bemærk her, at hvis punktet a ikke er et endepunkt på intervallet, så er f I (a) = f (a). Ydermere, hvis f er differentiabel på et interval [a, b], så: (Wade 2010, s ) f f(a + h) f(a) (a) := lim h 0+ h og f (b) := lim h 0 f(b + h) f(b). h Flere dimensioner I det forrige afsnit blev de grundlæggende definitioner samt andre nyttige begreber om differentiation af funktioner af én variabel gennemgået. Nu udvides begreberne til også at omfatte differentiation af funktioner af flere variable. Der indledes med en definition: 17

21 20/12/2012 G3-119 Bagvedliggende teori Definition af partielle afledede Lad f være en funktion, der er differentiabel i en åben mængde E R n og lad a E. Så kan funktionen f differentieres partielt, dvs. differentieres mht. én variabel i f, på følgende måde: f f(a + he j ) f(a) (a) := lim x j h 0 h Denne definition kan udvides til også at omfatte vektorfunktioner på følgende måde: Lad f : E R m være differentiabel i en åben mængde E R n og lad a E, så er f differentieret partielt mht. x j bestemt ved: f ( ) (a) := f1 x x j (a),..., f n x j (a). j Med andre ord kan man finde f xj, ved at differentiere f med hensyn til x j og betragte alle de øvrige variable af f som konstanter. Hvis ovenstående er opfyldt for en funktion, dvs. at de partielle afledede eksisterer og yderligere er kontinuerte, så kan man sige, at den er kontinuert differentiabel på E. En mere generaliseret forklaring på dette følger nedenunder. Definition af C p Lad V være en ikke-tom delmængde af R n, lad f : E R m og lad til slut p N. Så gælder følgende: 1. f siges at være C p på E, hvis og kun hvis alle partielle afledede af f af ordenen k, hvor k = {1, 2,..., p} eksisterer og er kontinuerte på E. 2. f siges at være C, hvis og kun hvis f er C p på E for alle p N. At en funktion f er C p betyder, at den er kontinuert differentiabel af ordenen p, altså kan den differentieres partielt p gange, og samtlige af disse partielt afledede er kontinuerte. At den er C betyder, at funktionen er uendelig differentiabel og alle partielt afledede er kontinuerte. Nu udvides definitionen fra forrige afsnit, jf. Differentiabilitetssætning 3, om differentiabilitet til også at gælde for flere variable: 18

22 20/12/2012 G3-119 Bagvedliggende teori Definition af differentiabilitet i et punkt Antag at a R n, at E er en åben mængde indeholdende a og at f : E R m. 1. f siges at være differentiabel i a, hvis og kun hvis der eksisterer et T L(R n ; R m ) således at funktionen opfylder ε(h) h 0, når h 0. ε(h) := f(a + h) f(a) T (h) (2.2) 2. f siges at være differentiabel på en mængde E, hvis og kun hvis E er ikke-tom og f er differentiabel i ethvert punkt i E. I forrige underafsnit findes en sætning om sammenhængen mellem kontinuitet og differentiabilitet, der med ganske få ændringer gælder for funktioner af flere variable, og dermed lyder således: Kontinuitet og differentiabilitet Hvis en vektorfunktion f er differentiabel i a, så er f kontinuert i a. Det er blevet vist, hvornår f er differentiabel. Det næste trin er at finde ud af, hvordan T skal se ud for at definitionen er opfyldt. Netop den matrix som opfylder definitionen betegnes den totale afledede eller Jacobi-matricen: Jacobi-matricen Lad f være en vektorfunktion. Hvis f er differentiabel i a, så eksisterer alle første ordens partielle afledede af f i a. Ydermere er den totale afledede af f i a unik og kan udregnes på følgende måde: Df (a) = f 1 x 1 (a) [ ] f 2 fi x j (a) := x 1 (a) m n. f m x 1 (a) f 1 f x 2 (a) 1 x n (a) f 2 f x 2 (a) 2 x n (a)..... f m f x 2 (a) m x n (a) (2.3) Bevis Det vides om f, at den er differentiabel, dvs. at der på baggrund af sætningen Definition af differentiabilitet i et punkt vides, at der findes en m n matrix benævnt W := [w ij ], således at f (a+h) f (a) Wh h 0 når h 0 (2.4) 19

23 20/12/2012 G3-119 Bagvedliggende teori Sæt 1 j n og definer h := te j for t > 0. Dermed haves det at h = t 2 = t og ud fra dette, kan (2.4) omskrives til følgende: f (a+h) f (a) Wh h = f (a + te j) f (a) t W e j (2.5) Det kan ses af 2.4, at ovenstående udtryk konvergerer mod 0, hvilket må betyde at: f (a + te j ) f (a) t W e j når t 0 (2.6) Det vil sige, at grænseværdien for udtrykket er lig W e j = (w 1j,..., w mj ). Det kan vises, at ovenstående udtryk gælder for både t 0 og t 0+, idet ligning (2.4) ikke ville kunne eksistere, hvis denne betingelse ikke var opfyldt. Det vides, at en vektorfunktion kun kan konvergere, hvis alle dens komponenter konvergerer (jf. (Wade 2010, s. 315) Theorem 9.16). Derfor eksisterer den første ordens partielle afledede for hver komponent af f i med hensyn til x j i a og opfylder følgende: f i x j (a) = w ij (2.7) for i = 1, 2,..., m og j = 1, 2,..., n. Det vil sige, at for enhver afledet af f og for ethvert punkt a, eksisterer der en unik matrix T, der opfylder ligning (2.2) og repræsentationen af denne matrix er som følger: Df (a) = [w ij ] m n = [ ] fi x j (a) m n En sidste sætning der beskriver sammenhængen mellem kontinuitet, de partielle afledede og differentiabilitet, er en tilstrækkelig betingelse for differentiabilitet i et punkt. (2.8) Kontinuitet og differentiabilitet i et punkt Lad E være en åben mængde i R n, lad a E, og antag slutteligt, at f : E R m. Hvis alle første ordens partielle afledede af f eksisterer i E og er kontinuerte i a, så er f differentiabel i a. Bemærk, at disse krav er opfyldt, hvis f er C 1 på E. Denne sætning kan udgøre et vigtigt redskab til at afgøre om en funktion af flere variable er differentiabel på en mængde. Sætningen er nyttig, da den medfører at man ikke nødvendigvis skal benytte definitionen for differentiabilitet, men i stedet kan undersøge eksistens og kontinuitet af de partielle afledede. Sætningen lægger således op til en systematisk fremgangsmåde, som dog ikke garanterer et resultat, da ovenstående sætning ikke er nødvendig for differentiabilitet. Bemærk at beviset for sætningen er udeladt i dette projekt, se (Wade 2010, s ) for bevis. 20

24 20/12/2012 G3-119 Bagvedliggende teori Fremgangsmåde for påvisning af differentiabilitet Den vigtigste teori omhandlende differentiabilitet er nu gennemgået. Dette gør det muligt at opstille en fast procedure til at afgøre om en given vektorfunktion f er differentiabel i et punkt a ved hjælp af den beskrevne teori. Den er som følger: 1. Find alle første ordens partielle afledede af f i a. Hvis mindst en af disse ikke eksisterer, så er f ikke differentiabel i a. Dette følger direkte ud fra sætningen Jacobi matricen. 2. Hvis alle første ordens partielle afledede af f eksisterer, så undersøg om de alle er kontinuerte i a. Hvis dette er tilfældet, så er f differentiabel i a. Konklusionen følger af sætningen Kontinuitet og differentiabilitet i et punkt. 3. Hvis ingen af de ovenstående trin kan benyttes fuldt ud, så benyt definitionen Differentiabilitetssætning 1. Dvs. benyt definitionen for differentiabilitet direkte i de tilfælde hvor de første ordens partielle afledede af f eksisterer, men ikke alle er kontinuerte i a. (Wade 2010, s & s ) Denne fremgangsmåde er benyttet i nedenstående eksempler: Eksempel Vis, at funktionen f(x, y) = er differentiabel på R 2 \{(0, 0)}. De partielle afledede er: { xy x 2 +y 2 for (x, y) R 2 \{(0, 0)} 0 for (x, y) = (0, 0) f x (x, y) = y3 + x 2 y 2x 2 y (x 2 + y 2 ) 2 = y(y2 x 2 ) (x 2 + y 2 ) 2 = y(x2 y 2 ) (x 2 + y 2 ) 2 (2.9) f y (x, y) = x3 + xy 2 2xy 2 (x 2 + y 2 ) 2 = x(x2 y 2 ) (x 2 + y 2 ) 2. (2.10) Da begge partielle afledede er kontinuerte på R 2 \{(0, 0)}, er funktionen f ifølge sætningen Kontinuitet og differentiabilitet i et punkt differentiabel på R 2 \{(0, 0)}. Bemærk, at en funktion godt kan være differentiabel selvom de første ordens partielle afledede ikke er kontinuerte. Med andre ord er betingelsen som blev brugt i ovenstående eksempel kun en tilstrækkelig betingelse. 21

25 20/12/2012 G3-119 Bagvedliggende teori Eksempel Vis, at funktionen ( ) (x 2 + y 2 )sin 1 for (x, y) R 2 \{(0, 0)} f(x, y) = x 2 +y 2 0 for (x, y) = (0, 0) er differentiabel på R men ikke C 1 i (0, 0). Hvis (x, y) (0, 0) så kan produktreglen bruges til at vise, at de første ordens partielle afledede eksisterer og er kontinuerte. ( ) ( ( )) 1 f x (x, y) = 2x sin + (x 2 + y 2 1 ) sin x 2 + y 2 x 2 + y 2 ( ) ( ) ( ) 1 = 2x sin + (x 2 + y ) cos x 2 + y 2 x 2 + y 2 x 2 + y 2 ( ) ( ) 1 = 2x sin + (x 2 + y 2 1 ( ) cos (x 2 + y 2 ) 1 x 2 + y 2 x 2 + y 2 2 ( ) ( 1 = 2x sin + (x 2 + y 2 ) cos x 2 + y 2 ) 1 x 2 + y 2 ) ( 1 2 (x2 + y 2 ) 3 2 ( ) ( ) ) 1 1 (x = 2x sin + cos ( 2 + y 2 )x x 2 + y 2 x 2 + y 2 (x 2 + y 2 x 2 + y 2 ( ) ( ) ( ) 1 1 x = 2x sin + cos. x 2 + y 2 x 2 + y 2 x 2 + y 2 ) 2x Af symmetri følger, at ( ) ( ) ( ) 1 1 y f y (x, y) = 2y sin + cos. x 2 + y 2 x 2 + y 2 x 2 + y 2 Undersøges grænseværdien af f x (x, 0) for x 0 ( ( ) ( ) ( 1 1 lim 2x sin + cos x )), x 0 x x x ( ) ( ) ( ) ses det, at grænseværdien for 2x sin 1 x er 0 for x 0. Derimod vil cos 1 x x x antage værdier mellem 1 og 1 for x 0, og derfor findes grænseværdien ikke og f x er ikke kontinuert i (0, 0). Samme argument viser, at f y ikke er kontinuert i (0, 0). 22

26 20/12/2012 G3-119 Bagvedliggende teori Da de afledede ikke er kontinuerte er man nødt til at bruge definitionen for differentiabilitet til at vise, at f er differentiabel i (0, 0). Først findes de partielle afledede i (0, 0) der er defineret som ( ) f(t, 0) f(0, 0) f x (0, 0) = lim t 0 t = lim t 0 ( t 2 sin 1 t 2 t ) ( = lim t sin 1 ) = 0. t 0 t Efter samme princip kan det vises, at f y (0, 0) = 0. Dermed eksisterer begge partielt afledede i (0, 0) og f(0, 0) = 0. Hvis f skal være differentiabel, skal den opfylde betingelsen fra Definition af differentiabilitet i et punkt i punktet (0, 0). f(h, k) f(0, 0) f(0, 0)(h, k) (h, k) f(h, k) = (h, k) ( ) = (h 2 + k ) sin h 2 + k 2 (h, k) ( ) = (h 2 + k ) sin h 2 + k 2 h 2 + k ( ) 2 = (h 2 + k 2 1 ) sin (h 2 + k 2 ) 1 h 2 + k 2 2 = ( ) h 2 + k 2 1 sin. h 2 + k 2 Da = ( ) h 2 + k 2 1 sin h 0 for (h, k) (0, 0) er f differentiabel i (0, 0). 2 +k 2 (Wade 2010, s ) 2.4 Teori om konveksitet og konkavitet Begreberne kontinuitet og differentiabilitet er nu gennemgået. Disse begreber kan bruges til at afgøre, om en funktion har maksima og/eller minima. Dette gøres ved at anvende førnævnte begreber til at finde ud af, om en funktion er hhv. konveks eller konkav. I følgende afsnit vil teorien bag sådanne funktioner blive gennemgået. Afsnittet indledes med en generel definition. Definition af konveks og konkav Lad I være et interval og f : I R. 1. f siges at være konveks på I hvis og kun hvis f(αx + (1 α)y) αf(x) + (1 α)f(y) (2.11) for alle 0 α 1 og alle x, y I. 23

27 20/12/2012 G3-119 Bagvedliggende teori 2. f siges at være konkav på I hvis og kun hvis f er konveks på I. 3. Funktionen siges at være strengt konveks, hvis der kun er lighedstegn for α = 0 α = 1 i udtrykket (2.11). Denne definition er præcis, men ikke særligt anvendelig i praksis. Derfor gives nu en mere grafisk definition på konveksitet, som i nogle tilfælde kan anvendes til hurtigt at afgøre om en funktion er konveks: Grafisk definition af konveksitet Lad I være et interval og f : I R. Så er f konveks på I, hvis og kun hvis der for ethvert [c, d] I, eksisterer en linje G gennem punkterne (c, f(c)), (d, f(d)), som ligger på eller over grafen for f(x) for alle x [c, d]. Figur 2.2: Grafisk illustration af konveksitet. Bevis Antag at f er konveks på I og der eksisterer et punkt x 0 [c, d]. Vælg et 0 α 1 således at x 0 = αc + (1 α)d. Linjen fra (c, f(c)) til (d, f(d)) har hældningen f(d) f(c) d c. Der må om punktet (x 0, y 0 ) på denne linje G gælde følgende: y 0 = αf(c) + (1 α)f(d). Idet f er antaget konveks, følger det fra (2.11) at f(x 0 ) y 0 ; altså må punktet (x 0, y 0 ) ligge på eller over punktet (x 0, f(x 0 )). 24

28 20/12/2012 G3-119 Bagvedliggende teori Et lignende argument kan opstilles for konkave funktioner. Nu vises det at der er sammenhæng mellem differentiabilitet og konveksitet for en funktion. Inden sætningen præsenteres og bevises, er det en nødvendighed at indføre en hjælpesætning omhandlende hældning af konvekse funktioner. Konveksitet og hældning En funktion f er konveks på et ikke-tomt, åbent interval (a, b), hvis og kun hvis hældningen af linjen G altid er voksende på (a, b). Dette gør sig gældende hvis og kun hvis a < c < x < d < b medfører f(x) f(c) x c f(d) f(x). (2.12) d x Nu haves alle redskaber til at opstille og bevise følgende: Differentiabilitet og konveksitet Antag at f er differentiabel på det ikke-tomme, åbne interval I. Så er f konveks på I hvis og kun hvis f er voksende i intervallet. Bevis Beviset opdeles i to dele, hvor det først antages, at funktionen er konveks og det bevises, at dens afledte er voksende. Dernæst antages det, at f er voksende, og det vises, at den er konveks. Antag at f er konveks på I := (a, b) og at c, d (a, b) opfylder c < d. Vælg et h tilstrækkelig lille således at c + h < d og d + h < b. Så, ifølge (2.12) fås: f(c + h) f(c) h f(d + h) f(d). (2.13) h Tages grænseværdien til ovenstående jf. Differentiabilitetssætning 1 for h 0 fås at f (c) f (d). Antag at f er voksende på (a, b). Lad a < c < x < d < b og anvend Middelværdisætningen (Wade 2010, s. 111) til at vælge et x 0 mellem c og x og et x 1 mellem x og d således at følgende gælder: f(x) f(c) x c = f (x 0 ) og f(d) f(x) d x = f (x 1 ). Da x 0 < x 1 følger det at f (x 0 ) f (x 1 ), da f er en voksende funktion. Idet hældningen er voksende, er funktionen ifølge hjælpesætningen om Konveksitet og hældning konveks. 25

29 20/12/2012 G3-119 Bagvedliggende teori En anden sætning, der er interessant at notere sig, er sammenhængen mellem konveksitet og kontinuitet. Denne vil dog ikke blive bevist, men præsenteres blot nedenfor: Kontinuitet og konveksitet Hvis f er konveks på et ikke-tomt, åbent interval I, så er f kontinuert på I. (Wade 2010, s ) Den vigtigste teori, der er nødvendig for de følgende kapitler, er gennemgået. I næste kapitel findes optimeringsmetoder, hvis fundament er teorien beskrevet i dette kapitel. 26

30 Kapitel 3 Optimerings-teori Idet der findes forskellige typer af funktioner, og da der kan optimeres under forskellige omstændigheder, er det nødvendigt at have forskellige optimeringsmetoder, så en bred vifte af optimeringsproblemer kan løses. En af de simpleste metoder er den såkaldte lineære programmering, som er et effektivt værktøj, når lineære funktioner på områder karakteriseret af lineære uligheder skal optimeres. Haves derimod et optimeringsproblem med ikke-lineære funktioner, kan problemet ofte løses ved at studere en funktions kritiske punkter ved hjælp af differentialregning. Skal man optimere en funktion på et definitionsområde, der er beskrevet som en løsning af en eller flere ligninger, kan de kritiske punkter undersøges ved hjælp af de såkaldte Lagrange multiplikatorer. De følgende afsnit i dette kapitel beskriver og eksemplificerer en række sådanne metoder, og nogle af hovedresultaterne bevises. 3.1 Optimering af funktioner uden bibetingelser Formålet med dette afsnit er at præsentere definitioner af hvad der forstås ved maksimum og minimum, samt præsentere en række generelle resultater og metoder til optimering. Afsnittet beskriver således hvor en funktion skal undersøges for at finde ekstrema for en objektfunktion. Der startes med tilfældet for én variabel og derefter udvides til mere generelle definitioner og sætninger Funktioner af én variabel Det er vigtigt at skelne imellem globale ekstrema og lokale ekstrema når en løsning til et givet optimeringsproblem ønskes fundet. De følgende definitioner præciserer hvornår en funktion siges at have et globalt eller lokalt ekstremum: 27

31 20/12/2012 G3-119 Optimerings-teori Globale ekstrema For en given funktion f defineret på en ikke-tom mængde E R gælder følgende: - f har et globalt maksimum f(a) i punktet a hvis f(x) f(a) for alle x E. - f har et globalt minimum f(b) i punktet b hvis f(x) f(b) for alle x E. Det vil sige, at et globalt ekstremum er karakteriseret ved, at det antager den absolut største/mindste værdi, f kan opnå i hele definitionsmængden. En funktion kan højest have én funktionsværdi af hhv. sit globale maksimum/minimum, om end denne funktionsværdi kan forekomme for flere værdier i definitionsmængden, men sådanne ekstrema behøver ikke nødvendigvis at eksistere. Betragt for eksempel funktionen f(x) = 1 x. Denne divergerer mod, når x nærmer sig 0 (fra højre side), dvs. f(x) = 1 x for x 0+, og derfor har funktionen ikke et globalt maksimum. Af samme grund eksisterer der ikke et globalt minimum da f(x) = 1 x for x 0. At et globalt ekstremum ikke findes for denne funktion ses også grafisk ud fra nedenstående figur: Figur 3.1: Eksempel på en funktion uden globale ekstrema. Udover et globalt ekstremum kan en funktion have et - eller flere - lokale ekstrema: Lokale ekstrema For en given funktion f defineret på den ikke-tomme mængde E R gælder følgende: - f har et lokalt maksimum f(a) i punktet a, hvis der eksisterer ε > 0, således at f(x) f(a) når x E og x a < ε. - f har et lokalt minimum f(b) i punktet b, hvis der eksisterer ε > 0, således at f(x) f(b) når x E og x b < ε. 28

32 20/12/2012 G3-119 Optimerings-teori Derved har en funktion f på en mængde E R et lokalt ekstremum i punktet a, hvis det optræder som et globalt ekstremum på et ikke-tomt åbent interval I E. Det vil sige at hvis hele definitionsmængden E betragtes, vil a ikke nødvendigvis være et globalt ekstremum, her kan det antage et lokalt ekstremum, hvis der findes et større maksima/minima indenfor E. Ydermere gælder det, at en funktion f(x) kun kan have lokale ekstrema i punkter af følgende typer: 1. Kritiske punkter på f : punkter x i definitionsmængden for f, hvor f (x) = Singulære punkter på f : punkter x i definitionsmængden for f, hvor f (x) ikke er defineret. 3. Endepunkter på intervallet af f : punkter i definitionsmængden for f, der ikke tilhører noget åbent interval i definitionsmængden. Punkt 1 ovenfor er et resultat af følgende nødvendige kriterium: Nødvendigt kriterium Hvis f er differentiabel i a og antager et lokalt ekstremum: a E, så gælder at f (a) = 0 med a som et kritisk punkt. (Adams & Essex 2010, s ), (Edwards & Penney 2002, s ) Funktioner af flere variable Når ekstrema for en funktion af flere variable skal findes, er det en mere kompliceret affære, end tilfældet er for funktioner med blot én variabel. Både de tilstrækkelige, og de nødvendige kriterier er anderledes, og sværere at arbejde med, end de, der gælder for funktioner med én variabel. En funktion f(x 1, x 2,..., x n ) kan have et ekstremum i et punkt a = (a 1, a 2,..., a n ), i sin definitionsmængde, i følgende typer af punkter: 1. Kritiske punkter på f : punkter hvor f(a) = Singulære punkter på f : punkter hvor f(a) ikke eksisterer. 3. Randpunkter på f : punkter i definitionsmængden for f, hvor det for enhver åben kugle B r (x) med r > 0 gælder, at mindst ét punkt i kuglen ikke ligger i definitionsmængden for f. Bevis Det skal bemærkes at hvis et punkt a ligger i f s definitionsmængde, så er det enten et indre punkt, et singulært punkt eller et punkt på randen. Strategien er så at vise, at hvis a er et indre punkt og f(a) 0 så kan a ikke være et ekstremum. Det antages, at a ligger i definitionsmængden for f. Hvis a hverken er et randpunkt eller et singulært punkt, må det nødvendigvis være et indre punkt i definitionsmængden, og så må f(a) nødvendigvis eksistere. Hvis ikke a er et kritisk punkt, er f(a) 0, hvorfor f har en positiv retningsafledet i retning af f(a) og en negativ retningsafledet 29

33 20/12/2012 G3-119 Optimerings-teori i retning af f(a); med andre ord vokser funktionen i mindst én retning væk fra a, og aftager i modsat retning. Dermed kan f hverken antage et maksimum eller et minimum i det pågældende punkt. På den baggrund kan det konkluderes, at et ekstremum nødvendigvis må forekomme i kritiske punkter, singulære punkter eller randpunkter på definitionsmængden. (Adams & Essex 2010, s. 744). Nedenstående er eksempler på, at ekstrema godt kan antages i singulære punkter og rand-punkter. Eksempel Vis, at funktionen f(x) = x 2 + y 2 har globalt minimum i (0, 0) og at dette er et singulært punkt. Bemærk at f kan opfattes som en funktion, der beskriver afstanden fra et punkt i planen til punktet (0, 0). Som en følge heraf haves at f(x, y) 0 og det haves således at for alle punkter (x, y) R 2, gælder at f(x, y) 0 = f(0, 0), så (0, 0) er et globalt minimum. Man kan se at (0, 0) er et singulært punkt ved at betragte de partielle afledede: f x = f y = x x 2 + y 2 y x 2 + y 2 Det bemærkes at disse ikke eksisterer i (0, 0), så (0, 0) er et singulært punkt for f. Eksempel Funktionen f(x, y) = 1 [ x hvor ] (x, y) R 2 er defineret i hele xy-planen. Den har ingen kritiske 1 punkter, da f(x, y) = for alle (x, y) R 2. f har heller ingen singulære punkter, og da 0 definitionsmængden er ubegrænset har den heller ingen rand. Begrænses f s definitionsmængde til x 2 + y 2 1 får funktionen et randområde, men da den stadig hverken har singulære eller kritiske punkter så må f nødvendigvis antage ekstrema i randområdet. I det næste afsnit betragtes et mere specifikt tilfælde, hvor der optimeres over konvekse funktioner. 3.2 Konveks optimering Teorien bag dette emne kan være brugbar i mange optimeringssituationer. Mange optimeringsproblemer er nemmere at løse, hvis objektfunktionen er konveks eller konkav, og man har værktøjerne til at udnytte dette. Opfylder funktionen det kriterie, at den er konveks (eller konkav), gælder det, at finder man et indre kritisk punkt, har man samtidig fundet et globalt ekstremum for funktionen. 30

34 20/12/2012 G3-119 Optimerings-teori Da den vigtigste teori omkring konveksitet (og konkavitet) er gennemgået, vil der nu blive behandlet tilfælde, hvor teorien kan anvendes til optimering. Sætningen om minima ud fra konveksitet (hhv. maksima ud fra konkavitet) udspringer i form af et korollar. Derfor er nedenstående sætning en nødvendighed: Sætning om konveksitet Givet en konveks funktion f : E R, hvor E R n, hvorom det gælder, at den er differentiabel i alle indre punkter x E o, så gælder følgende: f(y) f(x) + f(x) (y x) for alle y U. (3.1) Når f er strengt konveks, er uligheden i ovenstående ligning skarp for alle y x. Ud fra denne sætning (som findes bevist i (Johnsen 2012, s. 12)), kan der som sagt opstilles et korollar: Korollar Når en konveks funktion f : E R er differentiabel i et indre kritisk punkt, benævnt x, dvs. at f(x ) = 0 for et givent x E o, så er punktet x et globalt minimum for f. Hvis f er strengt konveks, så er et lokalt minimum x E globalt og unikt. Bevis Det antages, at x er et indre kritisk punkt, dvs. f(x ) = 0. Derved fås ud fra (3.1): f(y) f(x ) for alle y E. Dette betyder, at x er et globalt minimum, idet alle funktionsværdier er større end eller lig med funktionsværdien af det kritiske punkt. Det samme gør sig gældende for konkave funktioner, dog vender ulighedstegnet omvendt, og det kritiske punkt er ikke et minimum, men derimod et maksimum. (Johnsen 2012, s ) Eksempel Nu konstrueres der et eksempel på, hvordan man med teorien fra dette afsnit, kan finde ekstrema for en funktion med henblik på at optimere den. Funktionen f : [ 4, 1] R 2, vælges til at være et andengradspolynomium, med følgende forskrift: f(x) = x 2 + 5x

35 20/12/2012 G3-119 Optimerings-teori Det er nødvendigt at funktionen er konveks, for at ovenstående korollar kan anvendes. Det er, ifølge sætningen Differentiabilitet og konveksitet (afsnit 2.4) tilstrækkeligt at vise, at funktionen er differentiabel, for derefter at vise, at den afledede er voksende. Det vises nu, at f : [ 4, 1] R 2 er differentiabel på intervallet. Ifølge sætningen Differentiabilitet på intervaller (underafsnit 2.3.1) skal det vises at f er differentiabel i alle punkter x [ 4, 1], og det vises først at grænsen f(x + h) f(x) lim h 0 h eksisterer for x ( 4, 1). Hernæst kan man (ifølge Differentiabilitet og konveksitet, afsnit 2.4) definere: f f( 4 + h) f( 4) ( 4) = lim h 0+ h og f ( 1) = lim h 0 f( 1 + h) f( 1). (3.2) h Hvis alle ovenstående grænser eksisterer og er endelige, så er f differentiabel på intervallet [ 4, 1]. Først ses på tilfældet, hvor x ( 4, 1), så er: f (x) = lim h 0 f(x + h) f(x) h (x + h) 2 + 5(x + h) + 5 (x 2 + 5x + 5) = lim h 0 h x 2 + h 2 + 2hx + 5x + 5h + 5 x 2 5x 5 = lim h 0 h h 2 + 2hx + 5h = lim h 0 h = lim h 0 h + 2x + 5 = 2x + 5 Grænsen eksisterer altså for alle x ( 4, 1), så f er differentiabel på ( 4, 1). Hernæst afgøres på lignende vis om grænserne i ligning (3.2) eksisterer. Der udregnes først for f( 4) og derefter for f( 1): f ( 4) = f( 4 + h) f( 4) lim h 0+ h = h 2 + 5h 8h lim h 0+ h = h 2 3h lim h 0+ h = lim h 0+ = 3 32

36 20/12/2012 G3-119 Optimerings-teori Det viser sig altså, at f er differentiabel i -4. Nu videre til -1: f ( 1) = f( 1 + h) f( 1) lim h 0 h = h 2 + 5h 2h lim h 0 h = h 2 + 3h lim h 0 h = lim h 0 = 3 Dermed er det vist, at funktionen er differentiabel på [ 4, 1]. Nu undersøges funktionens første ordens afledede, og det afgøres, om denne er voksende. f (x) = 2x + 5, for alle x [ 4, 1] Da hældningen på denne funktion er positiv, konkluderes det, at f (x) er en voksende funktion, og derfor må f være konveks. Idet den er konveks, kan det ifølge ovenstående korollar, såfremt funktionen har et kritisk punkt, konkluderes, at det er et globalt minimum. Et kritisk punkt findes, hvor f (x) = 0. Dette sættes nu ind i funktionen f: Det kritiske punkt er altså givet ved ( 5 f (x) = 0 2x + 5 = 0 x = 5 2 f(x) = x 2 + 5x + 5 ( ) ( ) ( ) 5 f = ( ) 5 f = , 5 4 ). Da funktionen er konveks og har et indre kritisk punkt, hvori funktionen er differentiabel, kan det ifølge korollaret, der er introduceret i dette afsnit, konkluderes, at funktionen har et globalt minimum i ( 5 2, 5 4 ). Det gælder for f (x), at såfremt x 1 > x 2, så er f (x 1 ) > f (x 2 ) for alle x 1, x 2 R, og så er funktionen strengt konveks, ergo er det globale minimum også unikt. Det er dog ikke alle tilfælde, hvor man kan benytte teori omkring konveksitet eller konkavitet til at afgøre et punkts type. En mere generel metode til at afgøre hvorvidt et kritisk punkt er et 33

37 20/12/2012 G3-119 Optimerings-teori minimum, et maksimum eller et saddelpunkt, er at benytte den såkaldte Hesse-matrix, der beskrives i det følgende afsnit. 3.3 Hesse-matricen Givet en funktion f (x), hvor x = (x 1, x 2,..., x n ) og x i R for i = 1, 2,..., n, da er Hesse-matricen, H(f)(x), en n n matrix givet ved: H(f) ij (x) = 2 f x i x j (3.3) Hvilket i ord betyder, at indgangen h ij er dannet ved at differentiere f partielt med hensyn til først i og dernæst j. At Hesse-matricen H(f)(x) kan opstilles forudsætter således at de anden ordens partielle afledede eksisterer. Derved kommer Hesse-matricen, som fremover blot vil benævnes H(x), til at se således ud: H(x) = 2 f x f x 2 x 1. 2 f x n x 1 2 f x 1 x 2 2 f x f x n x 2 2 f x 1 x n 2 f x 2 x n.... Hesse-matricen er ikke blot en kvadratisk matrix, men den er også symmetrisk, hvis det ekstra 2 f x 2 n kriterium, at alle anden ordens partielle afledede er kontinuerte, er opfyldt. Anvendelse af Hesse-matricen Dette underafsnit beskriver hvorledes Hesse-matricer kan benyttes som et redskab indenfor matematisk optimering. Når der optimeres over en objektfunktion af blot én variabel er det muligt at bestemme typen af et kritisk punkt ved følgende to metoder: Benytte en grafisk fremstilling. Undersøge værdien af den anden ordens afledede, givet at denne eksisterer i en omegn af det kritiske punkt. For objektfunktioner, der afhænger af flere variable er Hesse-matricer et vigtigt redskab i undersøgelsen af de anden ordens partielle afledede. At Hesse-matricer kan benyttes til at bestemme, hvorvidt et kritisk punkt er et maksimum, minimum eller saddelpunkt, forudsætter at de anden ordens partielle afledede eksisterer i en omegn af det kritiske punkt. Såfremt disse eksisterer, kan der opstilles en Hesse-matrix H (x), og punktets type afgøres ved at bestemme om H(a) er positiv eller negativ definit i det kritiske punkt a. Definition af henholdsvis positiv og negativ definit kan formuleres således: 34

38 20/12/2012 G3-119 Optimerings-teori Positiv definit: En kvadratisk matrix A som opfylder at z T Az > 0 for enhver vektor z R n \{0} siges at være positiv definit. Negativ definit: En kvadratisk matrix A som opfylder at z T Az < 0 for enhver vektor z R n \{0} siges at være negativ definit. Positiv semidefinit: En kvadratisk matrix A som opfylder z T Az 0 for enhver vektor z R n siges at være positiv semidefinit. Negativ semidefinit: En kvadratisk matrix A som opfylder z T Az 0 for enhver vektor z R n siges at være negativ semidefinit. (Wikipedia 2012b) Følgende er altså relevant i forbindelse med en kontrol af de anden ordens partielle afledede: z T H(a)z > 0 for alle z R n, betyder at i en vilkårlig retning fra a er objektfunktionen voksende, dvs. a er et lokalt minimum. Det fremgår dog ikke umiddelbart for en givet H (a) om den er positiv definit. En måde hvorved det kan testes om H (a) er positiv eller negativ definit er ved at diagonalisere H (a): H(a) = P 1 DP (3.4) I ovenstående er D en diagonalmatrix med H (a) s egenværdier i diagonalen, og P er en matrix indeholdende de tilhørende egenvektorer i søjlerne. Herefter tjekkes om et af følgende tilfælde er opfyldt for Hesse-matricen: Hvis alle H (a) s egenværdier er positive, er H (a) positiv definit. Hvis alle H (a) s egenværdier er negative, er H (a) negativ definit. Hvis alle H (a) s egenværdier er ikke-negative, er H (a) positiv semidefinit. Hvis alle H (a) s egenværdier er ikke-positive, er H (a) negativ semidefinit. Hvis H (a) har både positive og negative egenværdier, er H (a) indefinit. Ovenfor er beskrevet hvordan H (a) positiv definit medfører at a er et lokalt minimum. Denne sammenhæng mellem H (a) og typen af det kritiske punkt kan udbygges til at hvis: H(a) er positiv definit, så har objektfunktionen et lokalt minimum i a. H(a) er negativ definit, så har objektfunktionen et lokalt maksimum i a. H(a) er positiv semidefinit, så har objektfunktionen enten et lokalt minimum eller et saddelpunkt i a. H(a) er negativ semidefinit, så har objektfunktionen enten et lokalt maksimum eller et saddelpunkt i a. 35

39 20/12/2012 G3-119 Optimerings-teori H(a) er indefinit, så har objektfunktionen et saddelpunkt i a. Selvom Hesse-matricer ikke altid kan give entydige svar, er de dog stadig et centralt redskab indenfor optimering, da de i mange tilfælde kan afgøre typen af allerede kendte kritiske punkter. (Wikipedia 2012a) Eksempel Betragt funktionen f(x, y) = sin(x + y) + cos(x y). De første ordens partielle afledede er f (x, y) = cos(x + y) sin(x y), x f (x, y) = cos(x + y) + sin(x y). (3.5) y Hesse-matricen fås til [ ] sin(x + y) cos(x y) sin(x + y) + cos(x y) H(x) =. (3.6) sin(x + y) + cos(x y) sin(x + y) cos(x y) Det kan ses at begge første ordens partielle afledede i (3.5) er nul hvis og kun hvis både cos(x + y) og sin(x y) er nul. Hermed fås, at (2h + 1)π cos(x + y) = 0 x + y = 2 sin(x y) = 0 x y = nπ, og for h, n Z. Ved at isolere x og y fås, at x = y = (2h + 1)π 4 (2h + 1)π 4 + nπ 2, nπ 2. (3.7) Ud fra (3.7) kan det ses, at der er uendeligt mange kritiske punkter, og derfor sættes h = 1 og n = 1 for at undersøge ét af dem. Ved indsættelse af h = 1 og n = 1 i (3.7) bliver x = 3π 4 + π 2 = 5π 4 og y = 3π 4 π 2 = π 4. Hermed kan x + y og x y beregnes til x + y = 3π 2 og x y = π. 36

40 20/12/2012 G3-119 Optimerings-teori Hesse-matricen kan nu bestemmes i punktet (x, y) = ( 5π 4, π 4 ) til, ( 5π H 4, π ) [ sin( 3π 2 = ) cos(π) sin( 3π 2 ) + cos(π) ] 4 sin( 3π 2 ) + cos(π) sin( 3π 2 [ ) ] cos(π) [ ] ( 1) ( 1) ( 1) + ( 1) 2 0 = =. ( 1) + ( 1) ( 1) ( 1) 0 2 I dette tilfælde er Hesse-matricen en diagonal matrix, hvis egenværdi er 2 med multiplicitet 2, da egenværdierne i en diagonal matrix kan aflæses direkte i diagonalen. Det kan derfor konkluderes, at Hesse-matricen er positiv definit, og at punktet (x, y) = ( 5π 4, π 4 ) er et lokalt minimum for funktionen f(x, y). Det skal bemærkes, at ikke alle funktionens kritiske punkter er lokale minimumspunkter. Hvis punktet (x, y) = ( 7π 4, π 4 ) undersøges, svarende til at sætte h = 1 og n = 2, fås Hesse-matricen til ( ) [ ] 7π 0 2 H 4, π = [ ] 0 2 Egenværdierne til ovenstående matrix fås ved at løse λi = 0, hvor I er 2 2 identitetsmatricen. Derfor løses 2 0 λ 2 2 λ = λ2 4 = 0 og det fås at λ 1 = 2 og λ 2 = 2. Det kan sluttes at for punktet (x, y) = ( 7π 4, π 4 ) er Hesse-matricen indefinit, og det haves dermed, at punktet er et saddelpunkt. I ovenstående eksempel undersøges om H (a) er positiv eller negativ definit ud fra H (a) s egenværdier. En alternativ fremgangsmåde er at benytte Sylvesters Kriterium. Sylvesters Kriterium Lad H (x) være en Hesse-matrix, med indgangene a ij. Definér nu: a 11 a 12 a 1i a 21 a 22 a 2i D i := det a i1 a i2 a ii Så gælder følgende: Hvis D i > 0 for ethvert i, 1 i n. Så er H (x) positiv definit. Hvis D i > 0 for i = 2k og D i < 0 for i = 2k 1, for ethvert 1 i n og k N. Så er H (x) negativ definit. 37

41 20/12/2012 G3-119 Optimerings-teori Hvis det(h(x)) 0 og ingen af de to ovenstående udsagn er opfyldt, er H (x) indefinit. Hvis det(h(x)) = 0 så kan det ikke, ud fra denne metode, afgøres om x er et ekstrema eller et saddelpunkt. (Minima & Maxima 2011, s ) Eksempel Find og klassificér de kritiske punkter for funktionen f(x, y, z) = x 2 y + y 2 z + z 2 2x. De kritiske punkter findes ved at sætte de første ordens partielle afledede lig 0: f x (x, y, z) = 2xy 2 = 0 f y (x, y, z) = x 2 + 2yz = 0 f z (x, y, z) = y 2 + 2z = 0 Isoleres z i sidste ligning fås: z = y2 2. Dette sættes ind i den midterste ligning og x isoleres, x = ( 2y ( y2 2 )) 1 2 = y 3 2. Det sættes ind i den øverste ligning og det fås at: y 5 2 = 2 2. Dvs. y = 1. Dermed fås z = 1 2 og x = 1. Det vil sige et kritisk punkt haves i (1, 1, 1 2 ). Hesse-matricen ser således ud: 2y 2x 0 H(x, y, z) = 2x 2z 2y 0 2y 2 H(1, 1, ) =

42 20/12/2012 G3-119 Optimerings-teori 2 2 Da D 1 = a 11 = 2 > 0 og D 2 = 2 1 = ( ) ( ) og da D 3 = = ( 1) ( 1) = er H(1, 1, 1 2 ) ifølge Sylvesters kriterium indefinit, hvilket vil sige at punktet (1, 1, 1 2 ) er et saddelpunkt. (Adams & Essex 2010, s. 609 og 747) 3.4 Lineær programmering Lineær programmering, eller LP, er en metode, der kan anvendes til matematisk optimering. Metoden søger at optimere på en given objektfunktion, være det sig for eksempel at maksimere et dækningsbidrag eller at minimere en omkostning, under hensyn til flere variable. Med flere variable menes det, at har man f.eks. en virksomhed, som producerer flere forskellige produkttyper, så kan antal enheder af disse betragtes som variable, x 1, x 2,, x n. I de efterfølgende underafsnit præsenteres først en metode, som kan løse tilfælde med to eller tre variable og herefter præsenteres en metode, der gælder for et vilkårligt antal variable. Løbende gives eksempler på løsningen af lineære programmeringsproblemer Den grafiske metode Har man et lineært programmeringsproblem, hvor man ønsker at optimere en funktion af to variable, kan dette lade sig gøre ud fra et grafisk princip. De to variable repræsenterer f.eks. to forskellige produkter, som en virksomhed producerer. Antal enheder af disse to produkter bliver illustreret af hhv. første- og andenaksen. Ud fra dette kan man se, at det også er muligt at optimere funktioner af tre variable, dog vil dette være noget mere besværligt med den grafiske metode, da dette problem så skal løses i det tre-dimensionelle rum. Ydermere kan det konkluderes, at tre er det maksimale antal variable, der må være i funktionen, for at den kan løses grafisk, idet det er umuligt, at tegne et rum af højere dimension end tre. Der vil i dette underafsnit udelukkende være fokus på funktioner af to variable. Et typisk LP-problem kan stilles på følgende form: 39

43 20/12/2012 G3-119 Optimerings-teori Maks. f(x) = c T x u.b.b. Ax b x 0 Måden LP-problemet her er stillet op på, kaldes for den kanoniske form. f kaldes for objektfunktionen, da det er denne, der optimeres over. Objektfunktionens udseende afhænger således af hvad der optimeres over. Endvidere er det også i den kanoniske form angivet, om der skal maksimeres eller minimeres. I nedenstående eksempel maksimeres der. Eksempel En møbelvirksomhed producerer én type borde og én type stole. Virksomheden tjener 400 kr. ved at sælge et bord og 200 kr. ved at sælge en stol. Sagt med andre ord er dækningsbidraget for disse hhv. 400 kr. og 200 kr. Ud fra ovenstående informationer kan objektfunktionen f opstilles, denne beskriver det samlede dækningsbidrag: f(x, y) = x y 400 Hvis der for eksempel produceres otte borde og tre stole, altså x = 3 og y = 8, så vil ligningen se således ud: f(x, y) = = 3800 kr. For at det giver mening, at optimere på denne funktion, må der sættes nogle grænser for, hvad der skal optimeres indenfor. Disse begrænsninger benævnes bibetingelser. Bibetingelser Bibetingelserne er dem, der helt bogstaveligt talt sætter rammen for, hvad der optimeres indenfor. Tegner man disse ind i et koordinatsystem, så er disse rette linjer, der afgrænser et område, som ofte er et polygon. De mest gængse bibetingelser, der altid vil være der, og hvilke som regel er underforståede, er positivitetsbetingelserne. Matematisk betegnes disse betingelser på følgende måde: x 0 y 0 Disse betingelser er ganske simple uligheder, der sørger for, at hverken x eller y er negative, dog må de gerne være lig nul, idet det kan vise sig gunstigt slet ikke at producere en vare af f.eks. type y. Modsat positivitetsbetingelserne, så afhænger alle andre bibetingelser udelukkende af, hvad man ønsker at optimere over. Der fortsættes her på eksemplet fra før. Er det f.eks. produktionstid, der optimeres på, så kan en bibetingelse være den tid, det tager at slibe bordene og stolene, eller er det lagerplads, så er det, hvor meget plads hver vare optager på lageret. Det antages, at dette er de bibetingelser, der skal overholdes. Det bliver opgivet, at slibningen af en stol tager ti minutter, og ligeledes tager det ti minutter at 40

44 20/12/2012 G3-119 Optimerings-teori slibe et bord. Det oplyses også, at der maksimalt kan anvendes 300 minutter til afslibning. Ydermere bliver det opgivet, at en stol optager 1 m 3 på lageret og et bord optager 3 m 3. Den samlede lagerplads er begrænset til 50 m 3. Bibetingelserne er udtrykt matematisk nedenfor: Afslibning: 10 x + 10 y 300 Lagerplads: x + 3 y 50 Nu kan problemet endelig opstilles på den kanoniske form, som blev vist allerførst i dette afsnit. LP-problemet kommer derfor til at se således ud: Maks. f(x, y) = x y 400 u.b.b. 10 x + 10 y 300 x + 3 y 50 x 0 y 0 Bibetingelserne skal danne polygonområdet. Derfor isoleres y i begge ligninger: y 30 x y 50 3 x 3 Disse linjer kan nu tegnes ind i et koordinatsystem, hvor der fås følgende polygonområde: Figur 3.2: Polygonområde Det er inden for dette område, der skal optimeres. Dette gøres ved hjælp af niveaukurver. 41

45 20/12/2012 G3-119 Optimerings-teori Niveaukurver Nu da polygonområdet er optegnet, kan man anvende objektfunktionen til at lave såkaldte lineære niveaukurver med. Bemærk fra før, at i dette eksempel er objektfunktionen som følger: f(x,y) = x y 400 Denne sættes nu lig med en funktionsværdi t, og herefter isoleres y i udtrykket: t = 200x + 400y 400y = t + 200x y = t x Den tredje lighed er en funktionsforskrift for niveaukurverne. Disse kurver skal ligge inden for polygonområdet, da disse bibetingelser skal overholdes. Derfor vælges det nu, at niveaukurver skal tegnes i y = 10 og y = 15. Bemærk at når der indtegnes niveaukurver som går gennem (0,10) og (0,15) så er der tale om niveaukurverne, hvor t er henholdsvis 4000 og Figur 3.3: Niveaukurver Det ses ud fra figur 3.3, at jo højere værdi t antager, desto mere bliver kurverne forskudt opad. Som det kan ses på nedenstående graf, så er det sidste punkt, som niveaukurverne rammer, før de overskrider bibetingelserne, punktet (20,10), hvor værdien af t er 8000: 42

46 20/12/2012 G3-119 Optimerings-teori Figur 3.4: Løsning Hermed er LP-problemet løst. Punktet, som niveaukurverne sidst rammer er den optimale løsning, dvs. der skal produceres 20 af produkt x, som er stolene, og 10 af produkt y, som er bordene. Dette giver et samlet dækningsbidrag på følgende, når punktet indsættes i objektfunktionen: f(x, y) = x y 400 = f(20, 10) = = Sådan løses et lineært programmeringsproblem på en grafisk måde. Dette er dog en langsom og ikke særlig effektiv måde, som desuden bliver umulig, når flere variable kommer i spil. Er det tilfældet, er der en anden metode, som løser problemet, både med to variable, men også med flere. (Søren Antonius 2011) Simplex-metoden En anden måde at løse lineære programmeringsproblemer på, er at benytte den såkaldte simplexmetode. Denne metode, som benytter det kanoniske lineære programmeringsproblem, handler om at maksimere en lineær funktion under lineære bibetingelser. Det første trin i simplex-metoden er at ændre bibetingelsernes uligheder til ligheder ved at tilføje såkaldte slack variable. Dette betyder at A, i den kanoniske form, bliver en m (n + m) matrix. Eksempel Find en brugbar løsning til følgende system: 2x 1 + 3x 2 + 4x x 1 + x 2 + 5x 3 46 x 1 + 2x 2 + x 3 50 Der tilføjes tre slack variable x 4, x 5 og x 6 : 43