Statisk Optimering. Jesper Michael Møller

Transkript

1 Statisk Optimering Jesper Michael Møller Matematisk Institut, Universitetsparken 5, DK 2100 København address: URL:

2

3 Indhold Kapitel 1 Ikke-lineær optimering 5 1 Hvad er ikke-lineær optimering? 5 2 Konvekse og konkave funktioner R n R 5 3 Implicit given funktion sætning 6 4 Optimering uden bibetingelser 7 5 Optimering under lighedsbibetingelser 8 6 Optimering under ulighedsbibetingelser 9 7 Det generelle optimeringsproblem 13 8 Eksempler 15 9 Matematisk økonomiske modeller 19 Kapitel 2 Lineær optimering 23 1 Hvad er lineær optimering? 23 2 Geometrisk løsning 24 3 Generelle lineære programmer og deres duale 24 4 Dualitetslemmaet 25 5 Kanoniske programmer 26 6 Standard programmer 28 7 Farkas lemma 29 8 Dualitetssætningen 30 Litteratur 33 3

4

5 KAPITEL 1 Ikke-lineær optimering 1 Hvad er ikke-lineær optimering? Ikke-lineær optimering handler om løsning af ikke-lineære optimeringsprogrammer Et ikke-lineært optimeringsprogram er et optimeringsproblem hvor det gælder om at maksimere eller minimere en objektfunktion under bibetingelser giver ved identiteter eller uligheder Problemet kaldes for ikke-lineært hvis vi ikke forudsætter at de involverede funktioner er lineære Vi antager i stedet at funktionerne er differentiable lokalt approksimativt lineære) eller konvekse Vi rekapitulerer nogle fakta om konvekse funktioner 2 Konvekse og konkave funktioner R n R Definition 21 Konveks mængde) En delmængde A af R n er konveks hvis λ 0 x 0 + λ 1 x 1 for all punkter x 0, x 1 A og alle reelle tal λ 0, λ 1 1 med λ 0 + λ 1 = 1 Lad A R n være en konveks delmængde af R n Definition 22 Konveks og konkav funktion) En reel funktion f : A R på A er konveks hvis epigrafen {x, t) A R t fx)} er en konveks delmængde af R n+1, og konkav hvis subgrafen {x, t) A R t fx)} er en konveks delmængde af R n+1, dvs hvis f er konveks En alternativ definition er at f er konveks hvis og kun hvis fλ 0 x 0 + λ 1 x 1 ) λ 0 fx 0 ) + λ 1 fx 1 ) og konkav hvis og kun hvis fλ 0 x 0 + λ 1 x 1 ) λ 0 fx 0 ) + λ 1 fx 1 ) når λ 0 0, λ 1 0 og λ 0 + λ 1 = 1 Grafen for en konveks konkav) funktion ligger altid over under) tangentplanen: Sætning 23 Lad A R n være en åben konveks delmængde og f : A R en reel C 1 -funktion på A Følgende betingelser er ækvivalente: 1) f er konveks 2) fλ 0 x 0 + λ 1 x 1 ) λ 0 fx 0 ) + λ 1 fx 1 ) for all punkter x 0, x 1 A og alle reelle tal λ 0 0, λ 1 0 med λ 0 + λ 1 = 1 3) x, y A: fy) fx) + fx) y x) 4) x A: 2 fx) er positiv semidefinit hvis f er C 2 ) Tilsvarende, 5) f er konkav 6) fλ 0 x 0 + λ 1 x 1 ) λ 0 fx 0 ) + λ 1 fx 1 ) 7) x, y A: fy) fx) + fx) y x) 8) x A: 2 fx) er negativ semidefinit hvis f er C 2 ) Bevis 1) Antag at f er konveks Lad x og y være punkter i A Definition 22 siger at ftx + 1 t)y) d tfx) + 1 t)fy) når 0 t 1 Anvender vi dt t=1 får vi fx) x y) fx) fy) Se [8, Sætning 461] for beviset for at den anden implikation = også gælder 2) [8, Sætning 431, 451] Mængden af konvekse konkave) funktioner lukket under dannelse af sum og multiplikation med positiv konstant Sætning 24 [8, Sætning 431] Lad S være en symmetrisk n n matrix 1) S er diagonaliserbar og alle egenværdier for S er reelle 2) S er positiv definit positiv semidefinit) Alle egenværdier for S er positive ikke-negative) 5

6 6 1 IKKE-LINEÆR OPTIMERING 3) Sylvesters kriterium) S er positiv definit Alle ledende principale underdeterminanter for S er positive 4) S er positiv semidefinit Alle principale underdeterminanter for S er ikke-negative En principal delmatrix fås ved at slette nogle rækker og de samme søjler fra S Der er ret mange af dem!) 3 Implicit given funktion sætning Implicit given funktion sætning beskriver strukturen af løsningmængden for et system af m ligninger med n + m ubekendte Sætning 31 Implicit given funktion sætning) Lad F : R n+m R m være en C 1 -funktion og lad x 0 være et punkt i R n+m med F x 0 ) = 0 Antag at rkdf x 0 )) = m dvs de m gradienter F 1 x 0 ),, F m x 0 ) for koordinatfunktionerne i F er lineært uafhængige eller, ækvivalent, at der er m lineært uafhængige søjler i Jacobimatricen DF x 0 )) De m ligninger F x 1,, x n, x n+1,, x n+m ) = 0 kan lokalt bruges til at udtrykke m koordinater som funktioner af de øvrige n koordinater Hvis vi siger at de sidste m søjler i DF x 0 ) er lineært uafhængige, så kan de sidste m koordinater udtrykkes ved de første n koordinater: Der findes en C 1 -funktion L: R n R sådan at F x 1,, x n, x n+1,, x n+m ) = 0 x 1,, x n, x n+1,, x n+m ) F 1 0) lokalt nær x 0 x n+1,, x n+m ) = Lx 1,, x n ) Vi siger at løsningsfunktionen L er implicit givet ved ligningssystemet F x) = 0 Her er to tilføjelser til sætningen 1) Da F x 1,, x n, Lx 1,, x n )) = 0 giver Kædereglen at eller at F x 1,, x n, Lx 1,, x n )) x 1,, x n ) = F x 1,, x n ) + F x n+1,, x n+m ) L x 1,, x n ) = F ) 1 F x n+1,, x n+m ) x 1,, x n ) L x 1,, x n ) = 0 2) Tangentrummet T x0 F 1 0) består af alle tangenter u t) til kurver u: R F 1 0) Det er klart at DF x 0 )T x0 F 1 0)) = 0 for F ut)) = 0 for alle kurver ut) på løsningsmængden F 1 0) Men faktisk er T x0 F 1 0) = DF x 0 ) 1 0) = span{ F 1 x 0 ),, F m x 0 )} for begge vektorrum har dimension n Vi benytter at DF x 0 )x = F 1 x 0 ) x,, F m x 0 ) x) for det sidste lighedstegn Normalrummet til løsningsmængden er derfor T x0 F 1 0) = span{ F 1 x 0 ),, F m x 0 )} Dvs at de m lineært uafhængige gradienter F 1 x 0 ),, F m x 0 ) står vinkelret på løsningsmængden F 1 0) 3) Tangentrummet afsat i x 0 x 0 + T x0 F 1 0) = {x R n DF x 0 )x x 0 ) = 0} består af de vektorer der afsat fra x 0 er ortogonale på koordinatfunktionernes gradienter Eksempel 32 Ligningen x 2 1 x 2 = 0 bestemmer nær 0, 0), x 2 som en funktion af x 1, nemlig x 2 = x 2 1, men ikke x 1 som en funktion af x 2 Ligningen x 2 1 x 2 2 = 0 bestemmer nær 0, 0) hverken x 1 som en funktion af x 2 eller x 2 som en funktion af x 1 Eksempel 33 Tangent til graf) Lad f : R n R være en C 1 -funktion Grafen for f {x, y) R n R fx) = y} = F 1 0) er løsningsmængden for funktionen F : R n R 1 R, F x, y) = fx) y Grafens tangentplan i x 0, fx 0 )) har ligning fx 0 ) 1 ) ) x x 0 eller y y y y 0 = fx 0 ) x x 0 ) 0

7 4 OPTIMERING UDEN BIBETINGELSER 7 A fx) = fx ) fx ) fx) > fx ) x fx) < fx ) Maksimering uden bibetingelser fx ) 0 = x OP ) Figur 1 Optimering uden bibetingelser hvor Vi betragter i dette afsnit optimeringsproblemet A er åben en delmængde af R n f er en reel C 1 -funktion defineret på A Problemets mulige og optimale løsninger er MP ) = A 4 Optimering uden bibetingelser P) Maksimér f OP ) = {x MP ) fx ) fx) for alle x MP )} De optimale løsninger er de mulige løsninger som optimerer objektfunktionen Sætning 41 Nødvendig 1 betingelse NB) Hvis x OP ) er en optimal løsning til optimeringsproblemet P), så er fx ) = 0: OP ) {x MP ) fx ) = 0} Bevis Lad x MP ) være en mulig løsning Antag at gradienten fx ) ikke er 0 Så findes en kurve ut) gennem x til tiden t = 0 sådan at dfu dt = fx ) du dt 0) 0 Altså har fu ikke lokalt ekstremum i 0 Dette sker meget ofte at fx ) = 0 uden at x er en optimal løsning Tænk bare på en funktion f : R R med mange lokale minima og maxima Vi kan ikke forvente at de nødvendige betingelser, som er lokale, også er tilstrækkelige For at opnå en tilstrækkelig betingelse bliver vi nødt til at stille globale krav til objektfunktionen Feks opnår vi en tilstrækkelig betingelse ved at forlange konkavitet Sætning 42 Tilstrækkelig betingelse TB) Antag at A er en åben konveks delmængde af R n og at f er en konkav C 1 -funktion på A Hvis fx ) = 0, så er x en optimal løsning til optimeringsproblemet P): OP ) = {x MP ) fx ) = 0} Bevis Antag at f er konkav og at fx ) = 0 Ifølge Sætning 237) er fx) fx ) + fx ) x x ) = fx ) for alle x A Dvs at x er et globalt maksimumspunkt for f på A Den modsatte inklusion blev vist i Sætning 41 1 A er tilstrækkelig for B og B er nødvendig for A betyder A = B

8 8 1 IKKE-LINEÆR OPTIMERING Vi betragter i dette afsnit optimeringsproblemet P) 5 Optimering under lighedsbibetingelser Maksimér f under bibetingelserne g 1 = b 1,, g m = b m hvor A er en åben delmængde af R n f : A R og g = g 1,, g m ): A R m er C 1 -funktioner defineret på A b = b 1,, b m ) R m Problemets mulige og optimale løsninger er MP ) = {x A g 1 x) = b 1,, g m x) = b m } = g 1 0) OP ) = {x MP ) fx ) fx) for alle x MP )} De mulige løsninger er de punkter i A som opfylder alle bibetingelser og de optimale løsninger er mulige løsninger som optimerer objektfunktionen Eksempel 51 Optimering af objektfunktion på graf) Lad h: R n 1 R være en C 1 -funktion og Gh) = {x, y) R n 1 R y = hx)} grafen for h i R n 1 R = R n Lad også f : R n R være en C 1 -funktion på R n Problemet P ) Maksimér f under bibetingelsen gx, y) = hx) y = 0 går ud på at maksimere objektfunktionen f på MP ) som er grafen Gh) for h Gradienten g = h, 1) står vinkelret på niveaufladen MP ) = g 1 0) Hvis f span{ g}, så er f ikke vinkelret på grafen og derfor findes en kurve ut) i R n så d dt fut), ht)) = fut), hut))) u t), h u t)) ikke er 0 Altså har f hverken maksimum eller minimum Vi har altså vist at Dette er et specialtilfælde af Lagranges sætning OP ) {x, y) R n fx, y) span{ gx, y)}} Definition 52 LICQ) En mulig løsning x MP ) opfylder LICQ Linear Independence Constraint Qualification) hvis gradienterne for bibetingelserne er lineært uafhængige i x, dvs hvis { g i x) i = 1,, m} er en lineært uafhængig mængde af vektorer i R n Hemmeligheden ved Lagranges sætning er at MP ) er beskrevet i Implicit Funktion Sætning, specielt at normalrummet i x til MP ) er udspændt af gradienterne g 1 x),, g m x) til bibetingelserne når x opfylder LICQ, se Implicit Funktion Sætning 31 Proposition 53 Antag at x MP ) er en mulig løsning som opfylder LICQ For en vektor v i R n gælder: v er vinkelret på MP ) i x v span{ g 1 x),, g m x)} Sætning 54 Lagrange nødvendig betingelse LNB) Der gælder OP ) {x MP ) x opfylder ikke LICQ} {x MP ) fx) span{ g i x)}} Bevis Vi skal vise at {x MP ) x opfylder LICQ og fx) span{ g i x)}} MP ) OP ) Lad x MP ) være en mulig løsning sådan at gradienterne i x for bibetingelserne er lineært uafhængige og objektfunktionens gradient fx) ikke ligger i underrummet span{ g 1 x),, g m x)}, dvs at fx) ikke er vinkelret på MP ) i x Der findes da en kurve ut) på MP ) gennem x til tiden t = 0 så dfu) dt 0) = fx) du dt 0) 0 Så har fu ikke lokalt ekstremum i 0 og x er ikke en optimal løsning til P) Hvis vi lægger et konkavitetskrav på så får vi en tilstækkelig betingelse for at x løser P) Sætning 55 Lagrange tilstrækkelig betingelse LTB) Antag at A er en åben konveks delmængde af R n og at f og g 1,, g m er C 1 -funktioner på A Så gælder {x MP ) u R m : f u t g : A R er konkav og Df u t g)x) = 0} OP ) Bevis Antagelsen er at der findes u R m så A R: x fx) u t gx) er en konkav funktion og Df u t g)x) = 0 for en mulig løsning x MP ) Ifølge Sætning 42 er da fx ) u t gx ) fx) u t gx) for alle x A Men da er fx ) u t b fx) u t b for alle x MP ) Altså er x en optimal løsning til maksimeringsproblemet P)

9 6 OPTIMERING UNDER ULIGHEDSBIBETINGELSER 9 fx ) fx) > fx ) x gx ) fx) < fx ) fx) = fx ) MP ) Lagranges Sætning fx ) span gx )) = x OP ) Figur 2 LNB Vi har at x MP ) og fx) span{ g i x)}} hvis og kun hvis der findes u = u 1,, u m ) R m så x, u) opfylder Lagrange betingelserne: Lagrange betingelser a) gx) = b eller g 1 x) = b 1,, g m x) = b m mulig løsning) b) Dfx) = u t Dgx) eller Dfx) = u 1 Dg 1 x) + + u m Dg m x) optimalitet) Vi reformulerer Lagrange nødvendig betingelse: Sætning 56 Lagrange nødvendig betingelse LNB II) OP ) {x MP ) x opfylder ikke LICQ} {x A u R m : x, u ) opfylder L betingelser} Sætning 57 Lagrange tilstrækkelig betingelse LTB II) Antag at A er en åben konveks delmængde af R n og at f og g 1,, g m er C 1 -funktioner på A Så gælder {x A u R m : x, u ) opfylder L betingelser og f u g er konkav} OP ) Eksempel 58 Vi ser på et optimeringsproblem i dimension 2, P) Maksimér fx 1, x 2 ) = x 1 x 2 2 under bibetingelsen gx 1, x 2 ) = x 1 = 0 De mulige løsninger, MP ) = {x 1, x 2 ) x 1 = 0}, er x 2 -aksen Da g = 1, 0) er LICQ opfyldt for alle mulige løsninger Derfor er OP ) {x 1, x 2 ) MP ) 1, 2x 2 ) span{1, 0)}} = {0, 0)} Da objektfunktionen er konkav har vi endda OP ) = {0, 0)} ifølge Sætning 42 Eksempel 59 LICQ) Vi ser på optimeringsproblemet i dimension 3, P) Maksimér fx 1, x 2, x 3 ) = x 1 x 2 3 under bibetingelserne g 1 x 1, x 2, x 3 ) = 0, g 2 x 1, x 2, x 3 ) = 0 og vi vil tage to forskellige par af bibetingelser Under de to bibetingelser g 1 x 1, x 2, x 3 ) = x 1, g 2 x 1, x 2, x 3 ) = x 2 i R 3 er de mulige løsninger MP ) = {0, 0, x) x R} tredjeaksen i R 3 Gradienterne g 1 = 1, 0, 0) og g 2 = 0, 1, 0) er lineært uafhængige, så LICQ er opfyldt i hele MP ) De to gradienter udspænder span{1, 0, 0), 0, 1, 0)} = R 2 0 Da f = 1, 0, 2x 3 ) siger LNB at OP ) {0, 0, 0)}, dvs at 0, 0, 0) er den eneste mulighed for en optimal løsning Det er faktisk en optimal løsning da x 3 = 0 er et maksimimumspunkt for f0, 0, x 3 ) = x 2 3, x 3 R Under de to bibetingelser g 1 x 1, x 2, x 3 ) = x 1, g 2 x 1, x 2, x 3 ) = x 1 + x 2 2 i R 3 er de mulige løsninger MP ) = {0, 0, x) x R} igen tredjeaksen i R 3 Gradienterne g 1 = 1, 0, 0) og g 2 = 1, 2x 2, 0) er lineært afhængige, faktisk identiske, i hele MP ) så LICQ er ikke opfyldt i noget punkt af MP ) Derfor siger LNB bare at OP ) MP ) så LNB er uden indhold Vi ved fra før at 0, 0, 0) er en optimal løsning; den opfylder ikke LICQ hvor Vi betragter i dette afsnit maksimeringsproblemet P) 6 Optimering under ulighedsbibetingelser Maksimér f under bibetingelserne g 1 b 1,, g m b m

10 10 1 IKKE-LINEÆR OPTIMERING Figur 3 Eksempel 61 A er en åben delmængde af R n f : A R og g = g 1,, g m ): A R m er C 1 -funktioner defineret på A b = b 1,, b m ) R m Problemets mulige og optimale løsninger er MP ) = {x A g 1 x) b 1,, g m x) b m } OP ) = {x MP ) fx ) fx) for alle x MP )} Hvis x MP ) er en mulig løsning, siger vi at bibetingelsen g i er aktiv i x hvis g i x) = b i og slæk i x hvis g i x) < b i Eksempel 61 Minimeringsproblemet, illustreret i Figur 3, P) Minimer x 1 3) 2 + x 2 2) 2 under bibetingelser x 2 1 x x x 1 0 går ud på at finde den mindste cirkel med centrum i 3, 2) som skærer mængden MP ) = {x 1, x 2 ) R 2 x 2 1 x 2 3 0, x 2 1 0, x 1 0} af mulige løsninger En optimal løsning er et punkt i MP ) tættest muligt på 3, 2) Maksimeringsproblemet P) Maksimér x 1 3) 2 + x 2 2) 2 under bibetingelser x 2 1 x x x 1 0 går ud på at bestemme det punkt i MP ) der ligger længst væk fra 3, 2) Objektfunktionens gradientvektorfelt fx) stråler radialt ud fra 3, 2) KKTNB siger at hvis x er optimal så ligger objektfunctionens gradient fx ) i den positive kegle udpsændt af gradienterne for de aktive bibetingelser Man kun nu tegne sig frem til en løsning til P) [Gør det!] 11 Kegler og Farkas s lemma Lad v 1,, v m være m vektorer i R n Definition 62 Kegle) Keglen udspændt af v 1,, v m er mængden cone{v 1,, v m }) = {λ 1 v λ m v m λ 1,, λ m 0} af alle postive linearkombinationer af vektorerne Vi sætter keglen af den tomme mængde til at være cone ) = {0}) Lemma 63 Farkas lemma) Lad v 1,, v m og b være vektorer i R n Så gælder b cone{v 1,, v m }) y R n : y v 1 0,, y v m 0, y b < 0

11 6 OPTIMERING UNDER ULIGHEDSBIBETINGELSER 11 Farkas lemma siger at en vektor b der ikke ligger i keglen kan skilles fra keglen med en hyperplan med normalvektor y) 12 Karush Kuhn Tucker betingelserne Karush Kuhn Tucker sætningerne giver nødvendige og tilstrækkelige betingelser for optimalitet i P ) Hvem viste Karush Kuhn Tuckers sætning? Den originale artikel af Kuhn og Tucker Definition 64 Mulige kurver) En mulig kurve gennem den mulige løsning x MP ) er en C 1 -kurve s: ε, ε) A defineret nær 0 sådan at s0) = x og, for alle bibetingelser g i som er aktive i x, er g i st)) b i for alle t 0, g i st)) b i for alle t 0 Lad st) være en mulig kurve gennem den mulige løsning x MP ) Hvis g i er aktiv i x så er g i x) s 0) = d dt g ist)) t=0 0 da g i st)) er voksende i 0 Vi har altså at 65) {s 0) s mulig kurve gennem x} {y R n g i x) y 0 for alle i med g i x) = 0} men det ville være vidunderligt med et lighedstegn her! Definition 66 LICQ) En mulig løsning x MP ) opfylder LICQ Linear Independence Constraint Qualification) hvis gradienterne for de aktive bibetingelser er lineært uafhængige i x, dvs hvis er en lineært uafhængig mængde af vektorer { g i x) 1 i m, g i x) = 0} Man kan vise at hvis LICQ gælder i x MP ) så er der faktisk lighedstegn i 65): Tangenterne til mulige kurver er præcis de vektorer som ligger på den positive side af hyperplanerne bestemt ved gradienterne for de aktive bibetingelser Det samme gælder klart hvis alle bibetingelser er affine funktioner) Sætning 67 KKTNB I) [5, Theorem 127][4, Theorem 32] Der gælder OP ) {x MP ) x opfylder ikke LICQ} {x MP ) fx) cone{ g i x) g i x) = 0})} Bevis Lad x MP ) være en mulig løsning som opfylder LICQ og fx) cone{ g i x) g i x) = 0}) Påstanden er at x ikke er optimal Fra Farkas Lemma Lemma 63) ved vi at der findes en vektor y som ligger på den positive side af alle aktive bibetingelser og har y fx ) < 0 LICQ garanterer at y = s 0) er tangent for en mulig kurve gennem x Da d dt fst)) t=1 = fx) y < 0, er fst)) en aftagende funktion af t For t < 0 er fst)) > fs0)) = fx) så x er ikke en optimal løsning g 1 x) b 1 g 1 x ) MP ) g 2 x) b 2 xt) y = x 0) g 2 x ) Karush Kuhn Tuckers tilstrækkelige betingelser hviler igen på konkavitet [5, Theorem 128] Sætning 68 KKTTB) Antag at A er en åben konveks delmængde af R n Så er {x MP ) u R m : u 0, u t gx) b) = 0, Dfx) = u t Dgx) og f u t g er konkav} OP ) Bevis Da f u t g er konkav på den konvekse mængde A og gradienten i x MP ) er 0, så er x et globalt maksimumspunkt ifølge TB: x A: f u t g)x) f u t g)x ) På venstresiden er u t gx) = u t b På højresiden er u t gx ) u t b for all x MP ) Altså er x MP ): fx) u t b = f u t g)x) f u t g)x ) = fx ) u t gx) fx ) u t b men dvs at fx) fx ) for alle x MP ), eller x OP )

12 12 1 IKKE-LINEÆR OPTIMERING fx 1) g 1 x 1) g 1 x 2) fx 0) 0 = x 0 OP ) fx 1) cone{ g 1 x 1)} = x 1 OP ) fx 2) cone{ g 1 x 1), g 2 x 2)} = x 2 OP ) g 1 x) = b 1 g 1 x) b 1 x 1 MP ) fx) > fx 1) x 0 fx) > fx 0) fx 0) x 2 fx) > fx 2) g2x) b2 g 2 x 2) fx 2) Karush Kuhn Tuckers Sætning fx ) cone{ g i x ) g i x ) = 0} = x OP ) g 2 x) = b 2 Figur 4 KKTNB Vi har at x MP ) og fx) cone{ g i x) g i x) = 0}) hvis og kun hvis der findes u = u 1,, u m ) R m så x, u) opfylder Karush Kuhn Tucker betingelserne: KKT betingelser a) u 0 eller u 1 0,, u m 0 positivitet) b) gx) b eller g 1 x) b 1,, g m x) b m mulig løsning) c) u t gx) b) = 0 eller u 1 g 1 x) b 1 ) = 0,, u m g m x) b m ) = 0 komplementær slæk) d) Dfx) = u t Dgx) eller Dfx) = u 1 Dg 1 x) + + u m Dg m x) optimalitet) Vi reformulerer Karush Kuhn Tuckers sætninger: Sætning 69 KKTNB II) OP ) {x MP ) x opfylder ikke LICQ} {x A u R m : x, u) opfyder KKT betingelser} Sætning 610 KKTTB II) Antag at A er en åben konveks delmængde af R n Så er {x MP ) u R m : u, x) opfylder KKT betingelser og f u t g er konkav} OP ) I praksis er det så godt som umuligt at bruge KKTNB til at finde OP ) da det kræver en analyse af de 2 m = 0 k m m k ) tilfælde med k aktive bibetingelser for k = 0,, m Eksempel 611 Der kan være mulige løsninger som opfylder KKTNB uden at være optimale I eksemplet til venstre er der tre mulige løsninger som opfylder KKTNB men kun to af dem er optimale

13 7 DET GENERELLE OPTIMERINGSPROBLEM 13 Eksemplet til højre viser at der også kan være optimale løsninger som ikke opfylder Karush Kuhn Tucker betingelserne, dvs ikke ligger i {x MP ) fx ) cone{ g i x ) g i x ) = 0})}, og derfor ikke opfylder LICQ Eksempel 612 Lad f : R R være en C 1 -funktion af en variabel Problemet P ) Maksimér f under bibetingelser a x 0, x b 0 går ud på at finde maksimum for f på intervallet [a, b] = MP ) hvor a < b Gradienterne for de aktive bibetingelser er lineært uafhængige da højst en bibetingelse er aktiv i et givet punkt Hvis f har maksimum i x [a, b] så findes u 1, u 2 R så u 1 0, u 2 0 a x b u 1 a x) = 0, u 2 x b) = 0 f x ) = u 1 + u 2 Det betyder at enten er x et indre punkt og u 1 = 0, u 2 = 0) med f x ) = 0 eller x = a er det venstre endepunkt og u 2 = 0) og f a) 0 eller x = b er det højre endepunkt og u 1 = 0) og f b) 0 Bemærkning 613 Minimeringsproblemet) P) Minimér f under bibetingelserne g 1 0,, g m 0 løses ved at maksimere f under bibetingelserne g 1 0,, g m 0 Hvis x opfylder LICQ og er en minimator, så findes ifølge Sætning 67 en vektor u R m så x, u) opfylder Karush Kuhn Tucker betingelserne a) u 0 positivitet) b) gx ) 0 mulig løsning) c) u t gx ) = 0 komplementær slæk) d) f)x ) = u t gx ) optimalitet) Og hvis x, u) opfylder ovenstående betingelser og A R: x fx) + u t gx) er konveks så er x en løsning til minimeringsproblemet Karush Kuhn Tuckers Sætning indeholder både optimering uden bibetingelser Sætning 42) og Lagranges Sætning Sætning 54) som specialtilfælde g 1 b 1,, g m b m, g 1 b 1,, g m b m ) [Vi ser lige bort fra at LICQ ikke er opfyldt - se [4]] Lad I = {1,, m}, I I J = {1,, n}, J J A er en åben delmængde af R J f : A R, g = g i ) i I : A R I Vi sætter 7 Det generelle optimeringsproblem g 1 g m g = : Rn R m b = b 1 og vi skriver [I ]gx) for g i x)) i I, [I ]b = b i ) i I og [J ]x = x j ) j J Vi ser først på optimeringsproblemet b m Rm P) Maksimér fx) under bibetingelserne [I ]gx) [I ]b, [I I ]gx) = [I I ]b med både uligheds- og lighedsbibetingelser Proposition 71 Lad x MP ) være en optimal løsning til P ) som opfylder LICQ Så findes en vektor y R m så a) y t [I ] 0 b) [I ]gx) [I ]b, [I I ]gx) = [I I ]b c) y t gx) b) = 0 d) Dfx) = y t Dgx)

14 14 1 IKKE-LINEÆR OPTIMERING h 1 x ) Generel Karush Kuhn Tucker x OP ) = fx ) cone{ g i x ) g i x ) = 0} + span{ h k x )} g 1 = 0 g 1 x ) h 1 = 0 MP ) h 1 x ) fx ) = u 1 gx ) + v 1 h 1 x ) Figur 5 KKTNB Det generelle maksimeringsproblem er P) Maksimér fx) under bibetingelserne [I ]gx) [I ]b, [I I ]gx) = [I I ]b, [J ]x 0 De mulige løsninger MP ) = {x A [I ]gx) [I ]b, [I = I ]gx) = [I I ]b, [J ]x 0} er de punkter i A som opfylder alle bibetingelser samt fortegnskrav, og de optimale løsninger OP ) = {x MP ) fx ) fx) for alle x MP )} er de mulige løsninger med størst mulig f-værdi Vi siger at en mulig løsning x MP ) opfylder LICQ Linear Independence Constraint Qualification) hvis gradienterne for de aktive bibetingelser er lineært uafhængige i x, dvs hvis er en lineært uafhængig mængde af n-vektorer { g i x) i I, g i x) = b i } { x j x) j J, x j = 0} Sætning 72 Karush Kuhn Tucker nødvendig betingelse KKTNB) [1, Propositions 331, 3316] [6, Chp 24] [5] [8, Thm 8101] Antag at A er en åben delmængde af R n og at f, g 1,, g m er C 1 -funktioner defineret på A Hvis x MP ) er en optimal løsning til programmet P ) som opfylder LICQ så findes en vektor y R m sådan at x,y) opfylder KKT-betingelserne: a) [I ]gx) [I ]b, [I I ]gx) = [I I ]b, [J ]x 0 mulig løsning) b) y t Dgx)[J ] Dfx)[J ], y t Dgx)[J J ] = Dfx)[J J ], y t [I ] 0 optimalitet og positivitet) c) y t gx) b) = 0, Dfx) y t Dgx))x = 0 komplementær slæk) Bevis Fra versionen i Proposition 71) af KKTNB med uligheder og ligheder i bibetingelserne og med de ekstra bibetingelser x j 0 for j J, får vi at der findes y R m og v R n så a) y t [I ] 0 og v t [J ] 0 positivitet) b) [I ]gx) [I ]b, [I I ]gx) = [I I ]b, [J ]x 0 mulig løsning) c) y t gx) b) = 0 og v t [J ][J ]x = 0 komplementær slæk) d) Dfx) = y t Dgx) v t [J ][J ]I n optimalitet) Vi reorganiserer nu denne information Fra d), y t Dgx)[J ] = Dfx)[J ] + v t [J ][J ]I n [J ] Dfx)[J ] og y t Dgx)[J J ] = Dfx)[J J ] + v t [J ][J ]I n [J J ] = Dfx)[J J ] Fra a), y t [I ] 0 Det er punkt b) i sætningen Fra c), y t gx) b) = 0 Fra c) og d), 0 = v t [J ][J ]x = v t [J ][J ]I n x = Dfx) y t Dgx))x Det er punkt c) i sætningen Punkt a) i sætningen er b) Sætning 73 Karush Kuhn Tucker tilstrækkelig betingelse KKTTB) Hvis x MP ), y R m og A er konveks KKT-betingelserne a) c) fra Sætning 72 er opfyldt for x, y) f y t g er en konkav funktion på den konvekse mængde A så er x optimal Disse generelle sætninger dækker Sætning 41, 54, 67 og Sætning 42, 55, 610 som specialtilfælde

15 8 EKSEMPLER 15 Eksempel 74 Neoklassisk model) I et marked med n goder til priser p t = p 1,, p n ) står en forbruger med indkomst I overfor problemet P I)) Maksimér Ux) under bibetingelserne p t x I, x 0 hvor Ux) er nytten ved forbrug x = x 1,, x n ) Ekstremværdisætningen garanterer at der er et optimalt forbrug Det er rimeligt at forlange U x > 0 og 2 U < 0 Hvis vi antager at der findes et optimalt forbrug med x > 0, i x 2 i giver c) at DUx) = y t p t og p t x = I da y > 0 Det følger at I = p t x = DUx)x y eller at Lagrangemultiplikatoren y = DUx)x I 8 Eksempler På Skagen Nordstrand, det nordligste punkt i Danmark, står kompasnålen vinkelret på kysten Eksempel 81 Lagrange sætning 54) P) Maksimér fx 1, x 2 ) = x 2 under bibetingelsen gx 1, x 2 ) = 1 4 x x2 2 1 = 0 Problemet er at finde det højeste punkt på ellipsen MP ) = g 1 1 1) Den eneste optimale løsning er x = 0, 3) Lad os nu se om LNB og LTB giver det rigtige svar f0, 3) MP ) f = +1 f = 0 f0, 3) f = 1 Gradienterne for objektfunktionen og bibetingelsen er f = 0 1), g = ) 1 x x 2 MP ), mængden af mulige løsninger, er en ellipse Bibetingelsens gradient er lineært uafhængig, dvs 0, på hele MP ) LNB fra Sætning 54 giver derfor at ) OP ) {x 1, x 2) MP ) u 0 : = u 1) 1 x 1 2 } 9 x 2 Vektorerne i mængden på højresiden er kandidater til optimale løsninger Efter en lille overvejelse ser vi at den består af de to punkter 0, ±3) I disse to punkter er f0, 3) = 3 2 g0, 3), f0, 3) = 3 g0, 3), 2 Vi ved altså nu at OP ) {0, 3), 0, +3)} Men 0, 3) er ikke optimalt fordi f0, 3) = 3 < 3 = f0, 3) Altså er OP ) {0, +3)} Det betyder at der er enten ingen eller præcis ét optimal løsning Hvordan kan vi nu argumentere for at 0, 3) faktisk er optimal? Her er to muligheder: Da ellipsen MP ) er kompakt og f er kontinuert, så har f en største værdi på MP ), dvs at OP ) Da f 3 2 g er konkav og f 3 2g)0, 3) = 0, så er 0, 3) optimal ifølge LTB fra Sætning 55 Eksempel 82 Lagrange sætning 54) P) Maksimér x x x 2 3 under bibetingelserne x x x 2 3 = 1, x 1 + 3x 2 + 2x 3 = 1

16 16 1 IKKE-LINEÆR OPTIMERING De mulige løsninger MP ) = {x 2 1 +x x 2 3 = 1, x 1 +3x 2 +2x 3 = 1} er kompakt, så den kontinuerte objektfunktion fx 1, x 2, x 3 ) = x x x 2 3 har både et maksimum og et minimum på MP ) Gradienterne 2x 1 1 g 1 = 2x 2, g 2 = 3 8x 3 2 er lineært uafhængige i planen {x 1, x 2, x 3 ) x 1 + 3x 2 + 2x 3 = 1} og specielt også i hele MP ) LNB siger derfor at OP ) er en delmængde af mængden af de x 1, x 2, x 3 ) MP ) for hvilke der findes u 1, u 2, u 3 R sådan at Lagrange betingelserne a) x x x 2 3 = 1, x 1 + 2x 2 + 3x 3 = 1 2x 1 2x 1 1 b) 2x 2 = u 1 2x 2 + u 2 3 2x 3 8x 3 2 er opfyldt Der er to muligheder, 3 x 1, x 2, x 3, u 1, u 2 ) =, 1, 0, 1, 0), x 1, x 2, x 3, u 1, u 2 ) = ζ, 3 7 ζ, ζ, 5 22, ζ), ζ = 22 som må være maksimum f = 1) og minimum f = ) af f på MP ) Eksempel 83 [8, Eksempel 2, p 261] P) Maksimér fx, y) = x 2 + 2y under bibetingelserne g 1 x, y) = x 2 + y 2 5, g 2 x, y) = y 0 Den kontinuerte objektfunktion fx, y) = x 2 + 2y har både et maksimum og et minimum på den kompakte mængde MP ) = {x 2 + y 2 5, y 0} se Figur 6) Gradienterne er ) ) 2x 2x 0 f =, g 2 1 =, g 2y 2 = 1) Det er ikke svært at se at LICQ er opfyldt for all mulige løsninger KKTNB siger derfor at for enhver optimal løsning, x, y) OP ), findes u, v R så a) u 0, v 0 b) x 2 + y 2 5, y 0 c) ux 2 + y 2 5) = 0, vy = 0 d) ) 2x = u 2 2x 2y ) + v 0 1) Da der er 2 bibetingelser kan analysen deles ind i 2 2 = 4 tilfælde: Ingen bibetingelser er aktive, netop en bibetingelse er aktiv, begge bibetingelser er aktive I dette tilfælde finder vi at a) d) har de tre løsninger x, y, u, v) = ±2, 1, 1, 0), 0, 5, 1/ 5, 0) Vi ved nu at de optimale løsninger ligger blandt de tre punkter { 2, 1), 2, 1), 0, 5)} Da f±2, 1) = 6 og f0, 5) = 2 5 < 6 er de optimale løsninger de to punkter ±2, 1) Eksempel 84 De nødvendige Karush Kuhn Tucker betingelser er ikke tilstrækkelige) P) Maksimer x x 2 2 under bibetingelsen x 1 1 De mulige løsninger MP ) = {x 1, x 2 ) R 2 x 1 1} er alle punkter med første koordinat højst 1 Da gradienten gx 1, x 2 ) = 1, 0) ikke er nulvektoren, er LICQ opfyldt i hele MP ) Objektfunktionens gradient er fx 1, x 2 ) = 2x 1, 2x 2 ) KKTNB siger at OP ) {0, 0), 1, 0)} Antag nemligt at x 1, x 2 ) er en optimal løsning KKTNB siger at hvis x 1 < 1 så er x 1, x 2 ) = 0, 0), og hvis x 1 = 1 så er 2, 2x 2 ) = u1, 0) for et u 0) Men det er oplagt at der ikke findes optimale løsninger, da fx 1, x 2 ) er ikke opad begrænset på MP ) Eksempel 85 Eksamen 07/08 Opg 3) Lad Q være en kvadratisk positiv semidefinit n n)-matrix, A en m n)-matrix og b R m, c R n vektorer Betragt det konvekse kvadratiske optimeringsproblem P) Karush Kuhn Tucker betingelserne er 1) u 0 2) Ax b 3) u Ax b) = 0 Minimer c x xt Qx under bibetingelserne Ax b

17 8 EKSEMPLER 17 y MP ) fx, y) = x 2 + 2y fx, y) = 2x, 2) x Figur 6 Eksempel 83 y g 2 g 1 g 2 g 1 g 2 g 2 MP ) g 1 g 2 g1 g 1 g 1 fx, y) = 1 2 x y fx, y) = 1 2, 1) x Figur 7 Eksempel 86 4) c + Qx + A t u = 0 Ifølge Sætning 67 og Sætning 610 er x en løsning til P) hvis og kun hvis der findes u så x, u ) opfylder Karush Kuhn Tucker betingelserne Eksempel 86 Konveks optimering) [8, Eksempel 1, p 260] P) Maksimér 1 2 x y under bibetingelserne x + e x y 0, x 0 Bibetingelsernes gradienter er altid lineært uafhængige Karush Kuhn Tucker betingelserne er 1) u 0, v 0 2) x + e x y, x 0 3) ux + e x y) = 0, vx = 0 4) 1/2 1 ) u 1 e x 1 ) v 1 0 ) 0 = 0) Figur 7 viser at det eneste punkt som opfylder betingelserne er x, y, u, v) = ln2), ln2) + 1 2, 1, 0) Det følger også af betingelserne: Fra 4) får vi u = 1 så x, y) ligger på grafen for x + e x Hvis x > 0 er v = 0 så e x ) = 0 og x = ln2)) Da fx, y) g 1 x, y) = 1 2 x exp x) er konkav er x, y) = ln2), ln2) ) faktisk en optimal løsning til P) Eksempel 87 Lagrange multiplikatorer er skyggepriser for bibetingelser) [8, p 245, 86] I maksimeringsproblemet Pb)) Maximer f under bibetingelser g 1 = b 1,, g m = b m

18 18 1 IKKE-LINEÆR OPTIMERING afhænger bibetingelserne af de exogene) variable b = b 1,, b m ) Hvad sker der med de optimale løsninger når den exogene variable b ændres? Lagrangebetingelserne for optimeringsproblemerne Pb) er F x, u, b) = 0 hvor F : R n R m R m R m R n er funktionen g 1 x) b 1 Vi kan derfor sige ) gx) b F x, u, b) = f ) g m x) b m = ) u j g j x) x f uj g j x) = 1 ) x f uj g j x) n x, u) opfylder LNB for Pb) F x, u, b) = 0 gx) b f u t g ) x) Kan vi finde x, u) = xb), ub)) i disse ligninger som en funktion af de exogene variable b? Ja, det kan vi ifølge Implicit Funktion Sætning forudsat at Jacobi matricen for F efter de endogene variable x, u) er invertibel Vi vil da have 88) hvor F x, u) ) x u + F b b = 0 eller ) x u = b x b u b ) x u b b) = F x, u) x, u, b) x 1 b 1 ) x n = b 1 u 1 b 1 u m b 1 De partielle afledte efter de endogene variable x, u) g 1 x 1 g b F 89) x,u) = f u t g ) g m x x,u) = 1 ) 2 x 1 x 1 f uj g j ) 2 x 1 x n f uj g j x 1 b n x n b n u 1 b n u m b n 1 F 2 x n x 1 f uj g j ) b x, u, b) ) g 1 x n 0 0 g m x 0 0 n g1 x gn 1 x 1 g1 x gn n x n ) 2 x n x n f uj g j ) er en kvadratisk n + m) n + m) matrix De partielle afledte efter de exogene variable b ) F 810) b = E Em m+n[1, m] = 0 n,m H f u t g ) g x )t x b u b = g x 0 H f u t g ) er 1 gange de m første søjler i m + n) m + n) enhedsmatricen E m+n I dette tilfælde giver ligningerne 88), hvis vi indsætter udtrykkene fra 89) og 810), at ) ) ) g x 0 Em = 0 n,m som giver at g x x b = E m, H f u t g ) x ) t b = g u x b g x )t

19 9 MATEMATISK ØKONOMISKE MODELLER 19 og at m + n) m matricen x u) ) 1 ) 1 F F = b x,u) Em+n [1, m]) = x,u) [1, m] = H f u t g ) er de m første søjler i den inverse af m + n) m + n)-matricen ) 1 F x,u) g x 0 g x )t ) 1 [1, m] Hvordan afhænger den optimale løsning x b), u b)) af de exogene variable b?: x ) ) x b + b) x u ) ) 1 b) u) x b + b) u + b = g b) b) b u + x 0 b) H f u t g ) [1, m] b er en approximativ løsning til Lagrangeligningerne Hvordan ændres fx b)) når b ændres?: fordi fxb)) b = f x x g x )t fx b + b)) fx b)) + fx b)) b = fx b)) + u b) t b b b = m j=1 u j g j x x m b = da Lagrangebetingelsen f x = g u j j x j=1 u j [j] g x x m b = u j [j]e m = ) u 1 u 2 u m = u t j=1 er opfyldt I denne formel står [j]a for række j i matrix A) Økonomer tolker x b) som den optimale strategi, der giver den optimale nytteværdi fx b)), under givne exogene variable b Formlen for x b + b) informerer om ændringen i den optimale strategi og formlen for fx b + b)) om ændringen i den optimale nytte under en lille ændring b i de exogene variable Lagrange multiplikatorerne u b) kaldes for bibetingelsernes skyggepriser Lad p = p 1,, p m ) være de faktiske priser for de m exogene variable b = b 1,, b m ) Det kræver en investering på p t b at ændre b til b + b og det giver en ændring i nytteværdi som er u b) t b Investeringsgevinsten er altså u b) p) t b Investeringen er profitabel hvis dette tal er positivt Læg mærke til at u b) for komparativ statistik er mere interesant end x b) fordi systemet af sig selv finder frem til x b) mens u b) fortæller om nytteværdiens følsomhed for ændringer i de exogene variable Det kan feks være et politisk ønske at ændre på fx b)) Den størst mulige effekt opnås ved at tage ændringen b i samme retning som u b) Værdifunktionen er og de marginale værdifunktioner V b 1,, b m ) = sup{fx 1,, x n ) gx 1,, x n ) = b 1,, b m )} V b j = u j er lig med Lagrangemultiplikatorerne som derfor udpeger den bedste strategi for at øge værdifunktionen 9 Matematisk økonomiske modeller I økonomisk teori antager man at vi har opnået et maksimum og man ønsker at sige noget om hvad der der sker når de exogene variable ændres Vi antager et maksimum er blevet antaget og vi ønsker at sige noget om hvilke konsekvenser vi kan drage af det Eksempel 91 [8, Eksempel 2 p 271] Et elektricitetsværk inddeler året i n perioder Lad x i være produktionen i periode i og p i prisen for elektricitet i den periode, 1 i n Værkets kapacitet k er konstant over hele året Værkets udgifter består af driftsomkostninger Cx) = Cx 1,, x n ), som kun afhænger af produktionsmønsteret x, og kapacitetsomkostninger Dk), som kun afhænger af kapaciteten k Værkets årlige profit er og profitmaksimeringsproblemet er πx, k) = p x Cx) Dk) P) Maksimér πx, k) under bibetingelserne 0 x 1 k,, 0 x n k, k 0

20 20 1 IKKE-LINEÆR OPTIMERING Der er her 2n + 1 bibetingelser, x i k 0 og x i 0 for 1 i n, og k 0 Hvis x, k) er et årligt produktionsmønster med maksimal profit så er Karush Kuhn Tucker betingelserne opfyldt: a) u 1,, u n 0, v 1,, v n 0, w 0 b) 0 x i k for 1 i n, og k 0 c) u i x i k) = 0 og v i x i = 0 for 1 i n, og wk = 0 d) πx, k) = i u i x i k) + i v i x i ) + w k) Ligning d) siger at p i C x i = π x i = u i v i 1 i n) D k = π k = i u i w Lad os antage at produktionen x i > 0 i alle perioder og at kapaciteten k > 0 Så er v 1 = = v n = 0, w = 0 ifølge c) og derfor p i C D = u i 1 i n), x i k = u i i og også u i = 0 i de perioder hvor x i < k Vi konkluder at C x i kapacitetsudnyttelse, og D k = p i C ) = x i 1 i n p i i alle perioder, C x i 1 i n x i=k p i C ) x i = p i i perioder med fuld Dvs at i perioder hvor produktionen ligger under den maksimale kapacitet så dækker salgsprisen lige akkurat de marginale driftsomkostninger I en periode i med spidsbelastning overstiger salgsprisen de marginale driftsomkostninger med u i Summen af disse overskridelser over alle spidsbelastningsperioder er lig med den marginale kapacitetsomkostning Eksempel 92 Fortolkning af Lagrange multiplikatoren i en økonomi med to goder) Lise lever af hamburgere og cola Prisen for en hamburger er p 1 og prisen for en cola er p 2 Lises indkomst er I Sæt A = {x 1, x 2 ) x 1 > 0, x 2 > 0} og lad funktionerne f, g : A R være funktionerne fx 1, x 2 ) = a 1 lnx 1 ) + a 2 lnx 2 ) og gx 1, x 2 ) = p 1 x 1 + p 2 x 2 Funktionen fx 1, x 2 ) er Cobb Douglas) nytteværdien af, og funktionen gx 1, x 2 ) er prisen, for x 1 hamburgere og x 2 colaer Cobb Douglas funktionen er konkav De positive konstanter 1 a 1 og a 2 afspejler Lises preferencer for hamburgere eller colaer Ved at re-skalere f med a 1+a 2 om nødvendigt kan vi godt antage at a 1 + a 2 = 1 Lise er en prisbevidst forbruger og hun, eller den usynlige hånd, har derfor løst optimeringsproblemet PI)) Maksimér fx 1, x 2 ) under bibetingelsen p 1 x 1 + p 2 x 2 = I De mulige løsninger MP I)) = {x 1, x 2 ) A p 1 x 1 +p 2 x 2 = I} er et åbent linjestykke Gradienten for bibetingelsen g = p 1, p 2 ) er 0 på hele MP I)) så LICQ er opfyldt for alle mulige løsninger LNB Sætning 54) siger at hvis x 1, x 2 ) er optimal så findes en Lagrange multiplikator u R så 1) p 1 x 1 ) + p 2 x 2 I = 0 a1 ) p1 2) = u p 2 x 1 a 2 x 2 Af 2) og 1) får vi x1 x 2 ) = 1 u a1 p 1 a 2 p 2 ) og I = p 1 x 1 + p 2 x 2 = 1 u a 1 + a 2 ) = 1 u Den eneste mulige optimale løsning som funktion af indkomsten I og Lagrange multiplikator er derfor ) ) x a1 1 I) = I, u = 1 I LTB siger at dette faktisk er en optimal løsning Altså er OP ) = {Ia 1 /p 1, Ia 2 /p 2 )} x 2 Hvordan ændres det optimale forbrug x 1I), x 2I)) når I ændres?: ) ) ) x 1 x a1 x I + I) 1 2 x I) + I 2 p 1 a 2 p 2 p 1 a 2 p 2

21 9 MATEMATISK ØKONOMISKE MODELLER 21 Hvordan ændres den optimale nytteværdi fx I)) når I ændres?: Kædereglen giver ) d di fx 1I), x f dx 2I)) = x 1, x 2 ) x 1I), x 2I)) = 1 ) ) a p1 p 1 /p 1 2 = 1 I a 2 /p 2 I Den maksimale nytteværdi fx 1I + I), x 2I + I)) fx 1I), x 2I)) + 1 I I = fx 1I), x 2I)) + I I vokser omvendt proportionalt med I: Den marginale nytteværdi af en lønforhøjelse er omvendt proportional med lønniveauet Lagrange multiplikatoren u I) = 1 I er i dette eksempel lig med den marginale nytteværdi det er ikke tilfældigt! Se Eksempel 87) Nyttefunktionen er til at være lig med Lagrange multiplikatoren u for optimeringspro- og vi fandt at den marginale nytteærdi til V I blemet P I) 1 di dx s di V I) = sup{fx 1, x 2 ) x 1, x 2 ) P I)} Eksempel 93 Lad a 1 og a 2 være positive konstanter så a 1 + a 2 = 1 Cobb Douglas) Sæt fx 1, x 2 ) = a 1 lnx 1 ) + a 2 lnx 2 ), g 1 x 1, x 2 ) = 2x 1 + x 2, g 2 x 1, x 2 ) = x 1 + 2x 2 for x 1 > 0 og x 2 > 0 Vi forestiller os at fx 1, x 2 ) er nytteværdien og at g 1 x 1, x 2 ) og g 2 x 1, x 2 ) er forbruget af to resurcer energi og areal) ved produktion af x 1 enheder af produkt nr 1 og x 2 enheder af produkt nr 2 Der er 300 energienheder og 450 arealenheder til rådighed for produktionen P) Maksimér f under bibetingelserne g 1 300, g Hvis a 2 er stor, er det en fordel at produce produkt nr 2 som kræver meget jord Derfor vil økonomiens begrænsning ligge i mængden af tilgængelig jord g 2 er aktiv) mens skyggeprisen på energi vil være u 1 = 0 da g 1 ikke er aktiv Hvis a 2 er lille, dvs a 1 er stor, er det en fordel at produce produkt nr 1 som kræver meget energi Derfor vil økonomiens begrænsning ligge i mængden af tilgængelig energi g 1 er aktiv) mens skyggeprisen på jord vil være u 2 = 0 da g 2 ikke er aktiv Hvis a 2 har en mellemværdi så er det en fordel at producere en blanding af de to produkter Karush Kuhn Tucker betingelser 1) u 1 0, u 2 0 2) 2x 1 + x 2 300, x 1 + 2x ) u 1 2x 1 + x 2 300) = 0, u 2 x 1 + 2x 2 450) = 0 4) a1 x 1 2u 1 u 2 = 0, a2 x 2 u 1 2u 2 = 0 Overvej hvad betingelse 4) betyder geometrisk på linjerne 2x 1 + x 2 = 300 og x 1 + 2x 2 = 450 og i deres skæringspunkt, 50, 200) Se Figur 8 Den økonomiske tolkning af betingelse 3) om komplementær slæk er at hvis energibetingelse g 1 er slæk, g 1 x 1, x 2 ) < 0, så er der stadig energi til rådighed og derfor er skyggeprisen på energi lig 0, dvs u 1 = 0 Ved en systematisk behandling af Karush Kuhn Tucker betingelserne må vi gå igennem de fire muligheder: u 1 = 0, u 2 = 0: Begge bibetingelser inaktive Hverken energi eller jord er fuld udnyttet Det lyder ikke som et sandsynligt maksimum Her er a 1 = 0 og a 2 = 0 Umuligt u 1 = 0, u 2 > 0: Den anden bibetingelse er aktiv Jorden er er fuldt udnyttet, x 1 +2x 2 = 450 Her er a 2 8/9 stor u 1 > 0, u 2 = 0: Den første bibetingelse er aktiv Energi er fuldt udnyttet, 2x 1 + x 2 = 300 Her er a 2 2/3 lille u 1 > 0, u 2 > 0: Begge bibetingelser er aktive Både energi og jord er fuldt udnyttet Her er 2/3 < a 2 < 8/9 og x 1, x 2 ) = 50, 200) Hvis feks a 2 = 11/12 så er u 1 = 0 og u 2 > 0 Modellen siger at da u 2 > 0 er al jord er udnyttet, men der er stadig energi som ikke er udnyttet Skyggeprisen på jord er positiv, mens skyggeprisen på energi er u 1 = 0 da tilførsel af mere energi ikke vil øge objektfunktionen Eksempel 94 [8] Ved produktionsstrategi v = v 1,, v n ) 0, afsætningspris p > 0 og omkostninger q = q 1,, q n ) > 0 er profitten πp, q, v) = pfv) q v, p > 0, q > 0, v 0

22 22 1 IKKE-LINEÆR OPTIMERING Figur 8 a 2 = 11/12 u 1 = 0, u 2 > 0), a 2 = 3/4 u 1 > 0, u 2 > 0) og a 2 = 1/3 u 1 > 0, u 2 = 0) hvor fv) er produktionen ved strategi v Vi antager at f er en C -funktion Desuden antager vi at for ethvert v reelt tal a > 0 findes der et tal K a sådan at fv) v < a når v > K a For givne k > 0, c > 0 og a > 0 sæt Så har funktionen X k,c) = {p, q) R >0 R n >0 0 < p < k, c,, c) < q}, en kontinuert værdifunktion [8] Men når p, q) X k,c) er V p, q) = π : X k,c) Y k,c) R sup πp, q, v): X k,c) R v Y k,c) max πp, q, v) = sup πp, q, v) v Y k,c) v 0 Y k,c) = R n 0 B0; K c k n ) For at se det, lad u 0 være en enhedsvektor Den afledte i t, hvor t > K c, af funktionen t πp, q, tv) = k n pftv) tq v, er p ftu) u q u p ftu) u c p c n k n c n c n c n = 0 Dette viser at t πp, q, tv) er aftagende når t > K c k n Da ethvert punkt p, q) R >0 R n >0 ligger i en af de åbne mængder X k,c), ser vi at værdifunktionen V : R >0 R n >0 R, V p, q) = sup πp, q, v), v 0 er veldefineret og kontinuert: Der findes en optimal produktionsstrategi og den maksimale profit afhænger kontinuert af salgspris og omkostningspriser Det er ikke givet at den optimale produktionsstrategi er entydig eller kontinuert afhængig af priserne Eksempel 95 Cobb Douglas production function Google search på nonlinear optimization

23 KAPITEL 2 Lineær optimering Hvad er et lineært maksimeringsprogram? Lad A være en m n matrix b en m-vektor c en n-vektor I er en delmængde af I = {1,, m} J er en delmængde af J = {1,, n} 1 Hvad er lineær optimering? Mængden I vil blive brugt til at indicere problemets bibetingelser, og mængden J til at indicere problemets variable x = x j ) j J Et generelt lineært program har formen P) Max c t x under bibetingelser [i]ax [i]b i I [i]ax = [i]b [j]x 0 i I j J Bibetingelser indiceret ved I er uligheder og variable indiceret ved J er 0 Vi vil også skrive 1 P) Max c t x under bibetingelser [I ]Ax [I ]b, [I I ]Ax = [I I ]b, [J ]x 0 for at gøre det lidt mere kompakt En tilladt løsning eller mulig løsning til P) er en vektor x R J som opfylder alle bibetingelser Vi skriver MP ) = {x R J [I ]Ax [I ]b, [I I ]Ax = [I I ]b, [J ]x 0} for det konvekse polyeder af alle mulige løsninger til P) Den optimale værdi for P) er supp ) = sup{c t x x MP )} og en optimal løsning for P) er en tilladt vektor x MP ) sådan at fx ) = supp ), dvs fx ) fx) for alle x MP ) Vi skriver OP ) = {x MP ) c t x = supp )} for mængden af optimale løsninger Eksempel 11 Her er et eksempel på et generelt lineært program P) Maksimér x 1 + 5x 2 2x 3 under bibetingelser 2x 1 + 3x 2 3 x 1 + 2x 2 x 3 = 4 x 1 0, x 2 0 hvor I = {1, 2}, I = {1}, J = {1, 2, 3}, J = {1, 2} og 1 ) c = , A =, b = ) 2 Her er nogle nyttige regneregler: [i]ab) = [i]a)b og [I ]AB) = [I ]A)B AB)[j] = AB[j]) og AB)[J ] = AB[J ]) 1 Vi skriver [I ]A for I -rækkerne og A[J ] for J -søjlerne i A 23

24 24 2 LINEÆR OPTIMERING x 1 Figur 1 Geometrisk løsning af LP fra Eksempel 21 x n x 1 x n Ax = A = A[1] A[n] ) = j J A[j])x j = x 1 A[1] + + x n A[n] er en linearkombination i R m af de n søjler i A y t A = [1]A ) ) y 1 y m A = y1 y m = i I y i[i]a = y 1 [1]A + + y m [m]a er en linearkombination i R n af de m rækker i A [m]a y t Ax = i I,j J y i[i]a[j])x j Vi skal se at ethvert lineært maksimeringsprogram P) har et dualt minimeringsprogram P ) som i Definition 31 Teorien, som handler om dualiteten mellem det primale program P) og det duale program P ), kulminerer med Dualitetssætningen 81 Kanoniske programmer og standard programmer er specielle lineære programmer Vi vil først omtale kanoniske programmer Dernæst vil vi se på standard programmer Vi formulerer dualitet først for standard programmer og dernæst for generelle programmer Svag dualitet er en banalitet; stærk dualitet en subtilitet 2 Geometrisk løsning Løsning af et lineært program kan fortolkes geometrisk Vi skal her se et eksempel i dimension 2 hvor det er lettest at se ideen Eksempel 21 Maksimeringsproblemet går ud på at finde et punkt i mængden P) Maksimér x 1 + x 2 under bibetingelser 2x 1 x 2 3 x 2 1 x 1 0 MP ) = {x 1, x 2 ) R 2 2x 1 x 2 3 0, x 2 1, x 1 0} med størst mulig koordinatsum se Figur 1 Geometrisk kommer det ud på at parallelforskyde linjen x 1 + x 2 = 0 i retning 1, 1) lige indtil den forlader MP ) En optimal løsning er et punkt i MP ) med maximal koordinatsum 3 Generelle lineære programmer og deres duale I et generelt lineært maksimeringsprogram kan der både være bibetingelser givet ved uligheder og ved ligheder og der kan både være fortegnskrav og ikke være fortegnskrav på de variable

25 4 DUALITETSLEMMAET 25 Definition 31 Et generelt lineært program har formen og det duale program er P) Maksimér c t x under bibetingelser [I ]Ax [I ]b, [I I ]Ax = [I I ]b, [J ]x 0 P ) Minimér y t b under bibetingelser y t A[J ] c t [J ], y t A[J J ] = c t [J J ], y t [I ] 0 I tableauet for et generelt lineært program hvor vi for nemheds skyld antager at I = {1,, i} og J = {1,, j}) markerer vi I -rækker og J -søjler med stjerner x 1 0 x j 0 x j+1 x n b y 1 0 a 11 a 1j a 1j+1 a 1n b 1 y i 0 a i1 a ij a ij+1 a in b i y i+1 a i+11 a i+1j a i+1j+1 a i+1n = b i+1 y m a m1 a mj a mj+1 a mn = b m c t c 1 c j = c j+1 = c n Rækkerne, med x j erne tilføjet, viser de primale bibetingelser og søjlerne, med y i erne tilføjet, de duale bibetingelser Det duale program er motiveret af den generelle version Sætning 72 af Karush Kuhn Tucker Eksempel 32 Det generelle lineære program fra Eksempel 11 har P ) Minimér 3y 1 +4y 2 under bibetingelser 2y 1 + y 2 1 3y 1 + 2y 2 5 y 2 = 2 y 1 0 som sit duale program De mulige løsninger er MP 1 ) = {y 1, 2) 3 y } og den optimale løsning er OP ) = { 1 3, 2)} da y 1 skal være så lille som muligt Den optimale værdi er infp ) = 9 4 Dualitetslemmaet Vi betragter et generelt lineært program og dets duale program som i Definition 31 Lemma 41 Dualitetslemma) Lad x MP ) og y MP ) være mulige løsninger Så gælder: 1) c t x y t Ax y t b 2) Hvis c t x y t b, så er x og y optimale løsninger, ulighedstegnene i 1) er lighedstegn, og supp ) = infp ) Bevis Vi observerer at 42) c t y t A ) x = c t y t A ) [J ][J ]x + c t y t A ) [J J ][J J ]x = c t y t A ) [J ][J ]x 43) y t Ax b ) = y t [I ][I ] Ax b ) + y t [I I ][I I ] Ax b ) = y t [I ][I ] Ax b ) Begge tal er 0 da de er er produktet af en rækkevektor 0 med en søjlevektor 0 Vi har defor at c x y t Ax og y t Ax y t b Korollar 44 OP ) OP ), og hvis det sker, så er supp ) = infp ) Bevis Lad x OP ) være en optimal løsning Ifølge KKTNB findes y MP ) som opfylder KKTbetingelserne i Sætning 72 Fra punkt c) ser vi at c t x = y t Ax = y t b Men så er y optimal og de to optimale værdier er ens Korollar 45 Lad x MP ) og y MP ) være tilladte løsninger Følgende betingelser er ækvivalente: 1) x OP ) og y OP ) 2) c t x y t b 3) c t x = y t b 4) c t x = y t Ax = y t b 5) c t y t A ) x = 0 og y t Ax b ) = 0 6) c t y t A ) [J ][J ]x = 0 og y t [I ][I ] Ax b ) = 0

26 26 2 LINEÆR OPTIMERING Maksimér c t x Ax b, x 0 Ax b Ax = b, x 0 Ax = b Minimér y t b y t A c t, y t 0 y t A = c t, y t 0 y t A c t y t A = c t Type I = I, J = J I = I, J = I =, J = J I =, J = Navn standard kanonisk Tabel 1 Liste over primale og duale programmer 7) j J : y t A[j] = c j eller x j = 0 og i I : y i = 0 eller [i]ax = b i 8) j J : y t A[j] = c j eller x j = 0 og i I : y i = 0 eller [i]ax = b i Bevis Vi har lige set at 2) = 1) og faktisk også at 2) 8) er ækvivalente: Vi bruger 42) og 43) til 5) 6) Vi har 7) 8) fordi denne betingelse er automatisk opfyldt for j J J og i I I 1) = 3): Da x er optimal findes ifølge de generelle KKT-betingelser i Sætning 72 en mulig z MP ) med c t x = z t b Så er z optimal Lemma 412)) Da også y er optimal, er y t b = z t b Altså, c t x = y t b Eksempel 46 Tableauet x 1 x 2 x 3 y y = = 2 beskriver det programmet fra Eksempel 11 og dets duale program P) Max x 1 + 5x 2 2x 3 ub 2x 1 + 3x 2 3 x 1 + 2x 2 x 3 = 4 x 1 0, x 2 0 P ) Min 3y 1 +4y 2 ub 2y 1 + y 2 1 3y 1 + 2y 2 5 y 2 = 2 y 1 0 I minimeringsprogrammet P ) er y 2 = 2 P ) går derfor ud på at minimere 3y 1 +8 under bibetingelserne 2y 1 1, 3y 1 1, y 1 0 Mulighedsområdet er MP ) = [1/3, 1/2], så en optimal løsning er y 1, y 2 ) = 1/3, 2) og den optimale værdi er infp ) = 9 Vi ved nu Korollar 44) at der også findes en optimal løsning x 1, x 2, x 3 ) til P ) med optimal værdi x 1 + 5x 2 2x 3 = 9 Komplementær slæk Korollar 18)) giver at da 2y 1 + y 2 = 2/3 + 2 = 4/3 > 1 er x 1 = 0, og da y 1 > 0 er 2x 1 + 3x 2 = 3 Altså er x 2 = 1 og så er x 3 = 2 5 Kanoniske programmer I et kanonisk maksimeringsprogram er alle bibetingelser givet ved ligheder og der er et fortegnskrav på alle variable Det betyder at I = og J = J Definition 51 Et kanonisk lineært program har formen og det duale program har formen P) Maksimér c t x under bibetingelser Ax = b, x 0 P) Minimér y t b under bibetingelser y t A c t I et kanonisk programs tableau x 1 0 x j 0 x n 0 b y 1 a 11 a 1j a 1n = b 1 y i a i1 a ij a in = b i y m a m1 a mj a mn = b m c t c 1 c j c n

27 5 KANONISKE PROGRAMMER 27 er der stjerner på alle primale variable x j ), da de er underlagt positivitskravet, men ingen stjerner på de duale variable y i ), da ingen bibetingelser er uligheder Mulighedsområdet MP ) er fællesmængden af den positive kegle udspændt a basisvektorerne x 0) og et lineært underrum Ax = b) Definition 52 En mulig løsning x R n, x 0, b = Ax = j J x j A[j] = j J x j>0 til det kanoniske program P) er en basisløsning hvis de benyttede søjler er lineært uafhængige {A[j] j J, x j > 0} x j A[j] Der er kun endeligt mange basisløsninger: 1) Der er kun endeligt mange delmængder J af J så søjlerne i matricen A[J ] er lineært uafhængige; 2) For hver J J som i 1) findes højst en vektor x R n med A[J ][J ]x = b, [J ]x > 0, [J J ]x = 0 Her er den geometriske tolkning som er vigtig for simplex algoritmen) Sætning 53 En mulig løsning x MP ) er en basisløsning hvis og kun hvis x er et hjørne i det konvekse polyeder MP ) En mulig løsning x MP ) er et hjørne i det konvekse polyeder MP ) hvis x ikke ligger mellem to andre punkter fra MP ) basisløsning basisløsning Fordelen ved kanoniske systemer er MP ) basisløsning P ) Max c t x ub Ax = 1, x 0 A = ), b = 1) MP ) = {x 1, x 2, x 3 ) 0 x 1 + x 2 + x 2 = 1} Et af de tre hjørner er optimalt Sætning 54 Hvis P) har en optimal løsning, så har P) også en optimal basisløsning Bevis Lad x være en optimal løsning til det kanoniske maksimerings program P) Definition 51) Lad J = {j J x j > 0} være mængden af de index j J hvor x j > 0 Hvis de benyttede søjler {A[j] j J } er lineært uafhængige, så er x en basisløsning og vi er færdige Antag derfor at de benyttede søjler {A[j] j J } er lineært afhængige Vælg y R n så Ay = 0, y benytter de samme søjler som x og y j > 0 for mindst et j Vi påstår at c t y = 0: Når λ er tæt ved 0, lad os sige λ < ε, så x λy en mulig løsning fordi x λy 0 og Ax λy) = Ax λay = Ax = b Men så er c t x λy) = c t x λc t y c t x dvs λc t y 0 da x er en optimal løsning Men her kan λ have begge fortegn, så det kan kun være rigtigt hvis faktisk c t y = 0 Da c t y = 0 ser vi at alle punkter af formen x λy er optimale løsninger når x λy 0, dvs x j λy j 0 for alle j Hvis y j 0 er dette OK Hvis y j > 0 og det sker for mindst et j) forlanger vi at λ xj y j Hvis vi sætter λ = min{ x j y j j J, y j > 0} så er λ > 0 og x λy er en mulig, faktisk optimal, løsning Nu er x j λy j = 0 for mindst et j J Vi har altså fundet en optimal løsning som benytter færre søjler Hvis de benyttede søjler er linerært uafhængige, er vi færdige Hvis ikke, kører vi den samme procedure igen Denne proces stopper; i hvert fald ved den tomme mængde, som er lineært uafhængig Da der kun er endeligt mange basisløsninger er løsningen af kanoniske programmer fuldstændig algoritmisk og dermed afsluttet set fra et teoretisk matematisk synspunkt Den eneste generelle løsningsmetode vi har går på at omskrive til at kanonisk program, finde alle basisløsninger, og vælge den basisløsning der maksimerer objektfunktionen Fra Sætning 54 ved vi at det er en optimal løsning Ethvert lineært program er ækvivalent med et kanonisk program Men det kanoniske program har fået flere variable og vil ofte i praksis være mere uhåndterligt end det oprindelige program Det er en af ulemperne ved