Statisk Optimering. Jesper Michael Møller

Transkript

1 Statisk Optimering Jesper Michael Møller Matematisk Institut, Universitetsparken 5, DK 2100 København address: URL:

2

3 Indhold Kapitel 1 Ikke-lineær optimering 5 1 Hvad er ikke-lineær optimering? 5 2 Konvekse og konkave funktioner R n R 5 3 Optimering uden bibetingelser 5 4 Optimering under bibetingelser givet ved ligheder 6 5 Optimering under bibetingelser givet ved uligheder 8 6 Optimering under bibetingelser givet ved ligheder og uligheder 13 7 Eksempler 13 8 Matematisk økonomiske modeller 19 Kapitel 2 Lineær optimering 23 1 Hvad er lineær optimering? 23 2 Geometrisk løsning 24 3 Generelle lineære programmer 24 4 Dualitetslemmaet 25 5 Kanoniske programmer 26 6 Standard programmer 28 7 Farkas lemma 29 8 Dualitetssætningen 29 Kapitel 3 Ikke-lineær optimering anvendt til lineær optimering 33 1 Karush Kuhn Tucker versus dualitet 33 2 Optimale løsninger som saddelpunkter 34 Litteratur 35 3

4

5 KAPITEL 1 Ikke-lineær optimering 1 Hvad er ikke-lineær optimering? Ikke-lineær optimering handler om løsning af ikke-lineære optimeringsprogrammer Et ikke-lineært optimeringsprogram er et optimeringsproblem hvor det gælder om at maksimere eller minimere en objektfunktion under bibetingelser giver ved identiteter eller uligheder Problemet kaldes for ikke-lineært hvis vi ikke forudsætter at de involverede funktioner er lineære Vi antager i stedet at funktionerne er differentiable lokalt approksimativt lineære) eller konvekse 2 Konvekse og konkave funktioner R n R Vi rekapitulerer nogle fakta om konvekse funktioner Lad A R n være en konveks delmængde Definition 21 En reel funktion f : A R på A er konveks hvis er en konveks delmængde af R n+1, og konkav hvis {x, y) A R y fx)} {x, y) A R y fx)} er en konveks delmængde af R n+1, dvs hvis f er konveks En alternativ definition er at f er konveks hvis og kun hvis fλ 0 x 0 + λ 1 x 1 ) λ 0 fx 0 ) + λ 1 fx 1 ) og konkav hvis og kun hvis fλ 0 x 0 + λ 1 x 1 ) λ 0 fx 0 ) + λ 1 fx 1 ) når λ 0 0, λ 1 0 og λ 0 + λ 1 = 1 Grafen for en konveks konkav) funktion ligger altid over under) tangentplanen: Sætning 22 Lad A R n være en åben konveks delmængde og f : A R en reel C 1 -funktion på A 1) f er konveks x, y A: fy) fx) + fx) y x) 2) f er konveks x A: 2 fx) er positiv semidefinit hvis f er C 2 ) Tilsvarende, 1) f er konkav x, y A: fy) fx) + fx) y x) 2) f er konkav x A: 2 fx) er positiv semidefinit hvis f er C 2 ) Bevis 1) Antag at f er konveks Lad x og y være punkter i A Definition 21 siger at ftx + 1 t)y) d tfx) + 1 t)fy) når 0 t 1 Anvender vi dt t=1 får vi fx) x y) fx) fy) Se [6, Sætning 461] for beviset for at den anden implikation = også gælder 2) [6, Sætning 431, 451] hvor Sætning 23 [6, Sætning 431] Lad S være en symmetrisk n n matrix 1) S er diagonaliserbar og alle egenværdier for S er reelle 2) S er positiv definit positiv semidefinit) Alle egenværdier for S er positive ikke-negative) 3) Sylvesters kriterium) S er positiv definit Alle ledende principale underdeterminanter for S er positive 4) S er positiv semidefinit Alle principale underdeterminanter for S er ikke-negative En principal delmatrix fås ved at slette nogle rækker og de samme søjler fra S Der er ret mange af dem!) Vi betragter i dette afsnit optimeringsproblemet A er åben en delmængde af R n f er en reel C 1 -funktion defineret på A 3 Optimering uden bibetingelser P) Maksimér f 5

6 6 1 IKKE-LINEÆR OPTIMERING A fx) = fx ) fx ) fx) > fx ) x fx) < fx ) Maksimering uden bibetingelser fx ) 0 = x OP ) Figur 1 Optimering uden bibetingelser Problemets mulige og optimale løsninger er MP ) = A OP ) = {x MP ) fx ) fx) for alle x MP )} De optimale løsninger er de mulige løsninger som optimerer objektfunktionen Sætning 31 Nødvendig betingelse NB) Hvis x OP ) er en optimal løsning til optimeringsproblemet P), så er fx ) = 0: OP ) {x MP ) fx ) = 0} Bevis Lad x MP ) være en mulig løsning Antag at gradienten fx ) ikke er 0 Så findes en kurve ut) gennem x til tiden t = 0 sådan at dfu dt = fx ) du dt 0) 0 Altså har fu ikke lokalt ekstremum i 0 Vi kan ikke forvente at de nødvendige betingelser, som er lokale, også er tilstrækkelige For at opnå en tilstrækkelig betingelse bliver vi nødt til at stille globale krav til funktionen Feks opnår vi en tilstrækkelig betingelse ved at forlange konveksitet Sætning 32 Tilstrækkelig betingelse TB) Antag at A er en åben konveks delmængde af R n og at f er en konkav C 1 -funktion på A Hvis fx ) = 0, så er x en optimal løsning til optimeringsproblemet P): OP ) = {x MP ) fx ) = 0} Bevis Antag at f er konveks og at fx ) = 0 Ifølge Sætning 221) er fx) fx ) + fx ) x x ) = fx ) for alle x A Dvs at x er et globalt minimimumspunkt for f på A Omvendt, hvis x er et globalt, eller blot lokalt, minimimumspunkt så er alle de retningsafledte 0, så gradienten fx ) = 0 hvor 4 Optimering under bibetingelser givet ved ligheder Vi betragter i dette afsnit optimeringsproblemet P) Maksimér f under bibetingelserne g 1 = 0,, g m = 0 A er en åben delmængde af R n f og g 1,, g m er m reelle c 1 -funktioner defineret på A Problemets mulige og optimale løsninger er MP ) = {x A g 1 x) = 0,, g m x) = 0} = A m i=1 OP ) = {x MP ) fx ) fx) for alle x MP )} g 1 i 0)

7 4 OPTIMERING UNDER BIBETINGELSER GIVET VED LIGHEDER 7 De mulige løsninger er de punkter i A som opfylder alle bibetingelser og de optimale løsninger er mulige løsninger som optimerer objektfunktionen Vi siger at den mulige løsning x MP ) opfylder LICQ Linear Independence Constraint Qualification) hvis gradienterne for bibetingelserne er lineært uafhængige i x, dvs hvis { g i x ) i = 1,, m} er en lineært uafhængig mængde af vektorer Hemmeligheden ved Lagranges sætning er at normalplanen til MP ) er udspændt af gradienterne g 1 x),, g m x) til bibetingelserne forudsat at de er lineært uafhængige) Dette er en variant af at v i ) = span v i ) hvor v 1,, v m er m vektorer i et vektorrum) Proposition 41 Antag at x MP ) er en mulig løsning som opfylder LICQ For en vektor v i R n gælder: v er vinkelret på MP ) i x v span{ g 1 x ),, g m x )} Bevis Da de m gradienter er lineært uafhængige i R n er m n Vi viser at v er en tangent til MP ) i x v span{ g 1 x ),, g m x )}) Hvis ut) er en kurve på MP ) gennem x til tiden t = 0, u0) = x, så er g i ut) = 0 for alle t og dermed er 0 = dgiu) dt = g i x ) du dt 0) Dette viser = Implikationen = følger af Implicit Funktion Sætning Ved at udskifte g i med g i b i kan vi antage at b i = 0 Sæt g = g 1,, g m ): R n R m Skriv x R n som z, y) R n m R m Antagelsen i Propositionen er at m m)-matricen g y er invertibel Derfor findes en lokalt defineret) funktion h: Rn m R m sådan at x MP ) gx) = 0 gz, y) = 0 y = hz) x = z, hz)) hvilket siger at MP ) lokalt nær x er graf for en funktion hz) defineret på R n m Altså har MP ), dvs mængden af tangenter, dimension n m Den første inklusion er derfor en identitet Sætning 42 Lagrange nødvendig betingelse LNB) Mængden OP ) af optimale løsninger til P ) er en delmængde af Bevis Vi skal vise at {x MP ) x opfylder ikke LICQ} {x MP ) fx ) span{ g i x )}} {x OP ) x opfylder LICQ} {x MP ) fx ) span{ g i x )}} Lad x MP ) være en mulig løsning Antag at gradienterne i x for bibetingelserne er lineært uafhængige og at objektfunktionens gradient fx ) ikke ligger i underrummet span{ g 1 x ),, g m x )}, dvs at fx ) ikke er vinkelret på MP ) i x Der findes da en kurve ut) på MP ) gennem x til tiden t = 0 så dfu) dt 0) = fx ) du dt 0) 0 Så har fu ikke lokalt ekstremum i 0 og x er ikke en optimal løsning til P) LNB Lad x MP ) være en optimal løsning til P ) som opfylder LICQ Der findes en entydigt bestemt) vektor u R m Lagrange multiplikator) så x, u ) opfylder Lagrange betingelserne: g 1 x ) = 0,, g m x ) = 0 mulig løsning) fx ) = u 1 g 1 x ) + + u m g m x ) optimalitet) Indholdet i Sætning 42 kan kort skrives 43) OP ) {x MP ) x opfylder ikke LICQ} {x MP ) x opfylder LNB} Man kan ikke ignorere kravet om at bibetingelsernes gradienter er lineært uafhængige Der kan være optimale løsninger som hverken opfylder LICQ eller LNB Eksempel 44 En optimal løsning som ikke opfylder LNB) P) Maksimér fx 1, x 2 ) = x 1 x 2 2 under bibetingelsen gx 1, x 2 ) = x 2 1 = 0 De mulige løsninger, MP ) = {x 1, x 2 ) x 1 = 0}, er x 2 -aksen Objektfunktionen på x 2 -aksen, f0, x 2 ) = x 2 2, har maksimum i x = 0, 0) I den optimale løsning x er gradienterne fx ) = 1, 0) og gx ) = 0, 0) Punktet x er altså en optimal løsning til P) som hverken opfylder LICQ eller LNB

8 8 1 IKKE-LINEÆR OPTIMERING fx ) fx) > fx ) x gx ) fx) < fx ) fx) = fx ) MP ) Lagranges Sætning fx ) span gx )) = x OP ) Figur 2 LNB Eksempel 45 Endnu en optimal løsning som ikke opfylder LNB) I R 3, sæt fx 1, x 2, x 3 ) = x 1 x 2 2, g 1 x 1, x 2, x 3 ) = x 3 og g 2 x 1, x 2, x 3 ) = x 2 1 x 3 Betragt maksimeringsproblemet P) Maksimér f under bibetingelserne g 1 = 0, g 2 = 0 De mulige løsninger, MP ) = {x 1, x 2, x 3 ) R 3 x 1 = 0, x 3 = 0} = {0} R {0}, er x 2 -aksen Objektfunktionen på x 2 -aksen, f0, x 2, 0) = x 2 2 er maksimal i x = 0, 0, 0) Men fx ) = 1, 0, 0) er ikke en linear kombination af g 1 x ) = 0, 0, 1) og g 2 x ) = 0, 0, 1) Hvis vi lægger et konkavitetskrav på så får vi en tilstækkelig betingelse for at x løser P) Sætning 46 Lagrange tilstrækkelig betingelse LTB) Antag at A er en åben konveks delmængde af R n og at f og g 1,, g m er C 1 -funktioner på A Lad x MP ) være en mulig løsning Hvis der findes u R m sådan at f u t g er konkav og f u t g)x ) = 0, så er x en optimal løsning til P) Bevis Antagelsen er at der findes u R m så A R: x fx) u j g jx) er en konkav funktion med x som stationært punkt, dvs globalt maksimumspunkt Sætning 22) Altså er fx) u j g j x) fx ) u j g j x ) for alle x A Men g j x) = 0 for alle x MP ) så her står at fx) fx ) for alle mulige løsninger x MP ) Altså er x en optimal løsning til maksimeringsproblemet P) LTB sagt på dansk: Hvis f u t g)x ) = 0 og f u t g er konkav, så er x en optimal løsning til P ) 5 Optimering under bibetingelser givet ved uligheder Vi betragter i dette afsnit minimeringsproblemet P) Maksimér f under bibetingelserne g 1 0,, g m 0 hvor A er en åben delmængde af R n f og g 1,, g m er reelle C 1 -funktioner defineret på A Problemets mulige og optimale løsninger er MP ) = {x A g 1 x) 0,, g m x) 0} OP ) = {x MP ) fx ) fx) for alle x MP )} Hvis x MP ) er en mulig løsning, siger vi at bibetingelsen g j er aktiv i x hvis g j x) = 0 og slæk i x hvis g j x) < 0 Eksempel 51 Minimeringsproblemet, illustreret i Figur 3, P) Minimer x 1 3) 2 + x 2 2) 2 under bibetingelser x 2 1 x x x 1 0

9 5 OPTIMERING UNDER BIBETINGELSER GIVET VED ULIGHEDER 9 Figur 3 Eksempel 51 går ud på at finde den mindste cirkel med centrum i 3, 2) som skærer mængden MP ) = {x 1, x 2 ) R 2 x 2 1 x 2 3 0, x 2 1 0, x 1 0} af mulige løsninger En optimal løsning er et punkt i MP ) tættest muligt på 3, 2) Maksimeringsproblemet P) Maksimér x 1 3) 2 + x 2 2) 2 under bibetingelser x 2 1 x x x 1 0 går ud på at bestemme det punkt i MP ) der ligger længst væk fra 3, 2) Objektfunktionens gradientvektorfelt fx) stråler radialt ud fra 3, 2) KKTNB siger at hvis x er optimal så ligger objektfunctionens gradient fx ) i den positive kegle udpsændt af gradienterne for de aktive bibetingelser Man kun nu tegne sig frem til en løsning til P) [Gør det!] 11 Lagrange funktionen Definition 52 Funktionen p L: A R p 0 R, x, u) fx) u j g j x) = fx) u t gx) kaldes for minimeringsproblemets Lagrange funktion j=1 Definition 53 Punktet x, u ) A R p 0 er et saddelpunkt for Lagrange funktionen L hvis Lx, u) Lx, u ) Lx, u ) for alle x A og alle u 0 Vi analyserer nærmere de to ulighder i Definition 53 Lemma 54 Følgende to betingelser er ækvivalente for x, u ) A R p 0 : 1) x A 0 og fx ) = Lx, u ) 2) Lx, u) Lx, u ) for alle u 0 Bevis Vi viser at følgende betingelser er ækvivalente: 1) x A 0 og fx ) = Lx, u ) 2) g 1 x ) 0,, g m x 0 ) 0 og u j g jx ) = 0 3) u j u j )g jx ) 0 for alle u 0 4) Lx, u) Lx, u ) for alle u 0

10 10 1 IKKE-LINEÆR OPTIMERING 1) 2): Klart! 2) = 3): u j u j )g jx ) = u j g j x ) 0 da u j 0 og g j x ) 0 3) = 2): Sæt u i = 1 + u i og u j = u j for j i Det giver g ix ) 0 Så er u j g jx ) 0 Sæt u = 0 Det giver u j g j x ) 0 Altså er u j g jx ) = 0 3) 4): Det er klart fordi Lx, u) Lx, u ) fx ) u j g j x ) fx ) u j g j x ) u j g j x ) u j g j x ) for alle u 0 u j u j )g j x ) 0 Lemma 55 Følgende to betingelser er ækvivalente for x, u ) A R p 0 : 1) Lx, u ) Lx, u ) for alle x A 2) Lx, u ) = sup x A Lx, u ) Bevis Klart! Korollar 56 Følgende to betingelser er ækvivalente for x, u ) A R p 0 : 1) x, u ) er et saddelpunkt for L 2) x A 0 og fx ) = Lx, u ) = sup x A Lx, u ) 12 Kuhn Tucker vektorer Definition 57 Vektoren u 0 er en Kuhn Tucker vektor for P) hvis og sup x A0 fx) < sup Lx, u ) = sup fx) x A x A 0 Sætning 58 Følgende fem betingelser er ækvivalente for x, u ) A R p 0 : 1) x er en løsning til P) og u er en Kuhn Tucker vektor 2) x A 0 og fx ) = sup x A0 fx) = sup x A Lx, u ) 3) x A 0 og fx ) = sup x A0 fx) = sup x A Lx, u ) = Lx, u ) 4) x A 0 og fx ) = sup x A Lx, u ) = Lx, u ) 5) x, u ) er et saddelpunkt for Lagrangefunktionen L Hvis de er opfyldt for x, u ) så er u j g jx ) = 0 for 1 j m Bevis Vi viser at betingelserne er ækvivalente 1) 2): Da x er en løsning til P) er x A 0 og fx ) = sup x A0 fx) og da u er en Kuhn Tucker vektor er sup x A0 fx) = sup x A Lx, u ) 2) = 1): Klart! 2) = 3): Vi har fx ) = sup Lx, u ) Lx, u ) fx ) x A hvor den sidste ulighed kommer af at Lx, u ) = fx ) u j g jx ) fx ) da u j 0 og g jx ) 0 Derfor er denne kæde af ulighedstegn faktisk en kæde af lighedstegn 3) = 2): Klart! 3) = 4): Klart! 4) = 3): Vi har fx ) = sup Lx, u ) sup Lx, u ) sup fx) x A x A 0 x A 0 hvor den sidste ulighed kommer af at Lx, u ) fx) når x A 0 Men så er fx ) = sup x A0 fx) 4) 5): Korollar 56 Hvis betingelserne er opfyldt for x, u ) så er fx ) = Lx, u ) = fx ) u j g j x ) og derfor er u j g jx ) = 0 Da alle led i denne sum er 0, er de alle faktisk = 0 Hvis P) har en Kuhn Tucker vektor u så gælder: x er en løsning til optimeringsproblemet P) x, u ) er et saddelpunkt for Lagrangefunktionen L sådan at vi stedet for at søge efter løsninger x til P) kan søge efter saddelpunkter af formen x, u ) for L

11 5 OPTIMERING UNDER BIBETINGELSER GIVET VED ULIGHEDER Karush Kuhn Tucker betingelserne Karush Kuhn Tucker sætningerne giver nødvendige og tilstrækkelige betingelser for optimalitet i P ) Hvem viste Karush Kuhn Tuckers sætning? Den originale artikel af Kuhn og Tucker Vi siger at en mulig løsning x MP ) opfylder LICQ Linear Independence Constraint Qualification) hvis gradienterne for de aktive bibetingelser er lineært uafhængige i x, dvs hvis { g i x ) 1 i m, g i x ) = 0} er en lineært uafhængig mængde af vektorer Sætning 59 Karush Kuhn Tucker nødvendig betingelse KKTNB) [4, Theorem 127][3, Theorem 32] Mængden OP ) af optimale løsninger til P) en delmængde af {x MP ) x opfylder ikke LICQ} {x MP ) fx ) cone{ g i x ) g i x ) = 0})} Bevis Lad x MP ) være en mulig løsning Lad Cx ) = { u i g i x ) g i x ) = 0, u i 0} være den positive kegle udspændt af gradienterne for de aktive bibetingelser Vi forudsætter at for enhver vektor y R n som opfylder at y t Cx ) 0 keglen ligger på den positive side af hyperplanen y ) findes en C 1 -kurve x: ] 1, 0] MP ) i MP ) som slutter i x0) = x med tangent x 0) = y Man kan vise at denne forudsætning er opfyldt hvis feks x opfylder LICQ g 1 x) b 1 g 1 x ) MP ) g 2 x) b 2 xt) y = x 0) g 2 x ) Antag nu at fx ) ikke ligger i keglen Cx ) Vi vil vise at f ikke har maximum i x Farkas Lemma Lemma 71) giver at der findes en vektor y R n så y t Cx ) 0 og y t fx ) < 0 Forudsætningen siger at der findes en C 1 -kurve x: ] 1, 0] MP ) i MP ) som slutter i x0) = x med tangent x 0) = y Da differentialkvotienten fx) 0) = y t fx ) er negativ har t fxt)) ikke maksimum i 0, og derfor er x ikke et maximumspunkt for f KKTNB Lad x MP ) være en optimal løsning til programmet P ) som opfylder LICQ Der findes en entydigt bestemt) vektor u R m Lagrange multiplikator) sådan at x, u) opfylder Karush Kuhn Tucker betingelserne: u 1 0,, u m 0 positivitet) g 1 x ) 0,, g m x ) 0 mulig løsning) u 1 g 1 x ) = 0,, u m g m x ) = 0 komplementær slæk) fx ) = u 1 g 1 x ) + u m g m x ) optimalitet) Indholdet i Sætning 59 kan kort skrives 510) OP ) {x MP ) x opfylder ikke LICQ} {x MP ) x opfylder KKNB} De tilstrækkelige betingelser hviler igen på konkavitet Sætning 511 Karush Kuhn Tucker tilstrækkelig betingelse KKTTB) [4, Theorem 128] Antag at A er en åben konveks delmængde af R n Så er {x MP ) u R m : x, u ) opfylder KKTNB og f u t g er konkav} OP ) Bevis Antag at x, u ) opfylder KKTNB Så er Desuden er Lx, u ) = fx ) u j g j x ) = fx ) sup Lx, u ) = Lx, u ) x A

12 12 1 IKKE-LINEÆR OPTIMERING fx 1) g 1 x 1) g 1 x 2) fx 0) 0 = x 0 OP ) fx 1) cone{ g 1 x 1)} = x 1 OP ) fx 2) cone{ g 1 x 1), g 2 x 2)} = x 2 OP ) g 1 x) = 0 g 1 x) b 1 x 1 MP ) fx) > fx 1) x 0 fx) > fx 0) fx 0) x 2 fx) > fx 2) g2x) b2 g 2 x) = 0 g 2 x 2) fx 2) Karush Kuhn Tuckers Sætning fx ) cone{ g i x ) g i x ) = 0} = x OP ) Figur 4 KKTNB fordi x Lx, u ) er en konkav C 1 -funktion med stationært punkt, derfor globalt maksimumspunkt Sætning 22), x Derfor siger 1) 4) i Sætning 58 at x en løsning og u er en Kuhn Tucker vektor Sagt på dansk: Hvis f, g, x, u) opfylder Karush Kuhn Tucker betingelserne og f u t g er konkav, så er x en optimal løsning til P ) Eksempel 512 Der kan være mulige løsninger som opfylder KKTNB uden at være optimale I eksemplet til venstre er der tre mulige løsninger som opfylder KKTNB men kun to af dem er optimale Eksemplet til højre viser at der også kan være optimale løsninger som hverken opfylder LICQ eller KKTNB Eksempel 513 Lad f : R R være en C 1 -funktion af en variabel Problemet P ) Maksimér f under bibetingelser a x 0, x b 0 går ud på at finde maksimum for f på intervallet [a, b] = MP ) hvor a < b Gradienterne for de aktive bibetingelser er lineært uafhængige da højst en bibetingelse er aktiv i et givet punkt Hvis f har maksimum i x [a, b] så findes u 1, u 2 R så u 1 0, u 2 0 a x b u 1 a x) = 0, u 2 x b) = 0 f x ) = u 1 + u 2 Det betyder at enten er x et indre punkt og u 1 = 0, u 2 = 0) med f x ) = 0 eller x = a er det venstre endepunkt og u 2 = 0) og f a) 0 eller x = b er det højre endepunkt og u 1 = 0) og f b) 0

13 7 EKSEMPLER 13 Bemærkning 514 Minimeringsproblemet) P) Minimér f under bibetingelserne g 1 0,, g m 0 løses ved at maksimere f under bibetingelserne g 1 0,, g m 0 Hvis x opfylder LICQ og er en minimator, så findes ifølge Sætning 59 en vektor u R m så x, u) opfylder Karush Kuhn Tucker betingelserne 1) u 0 positivitet) 2) gx ) 0 mulig løsning) 3) u t gx ) = 0 komplementær slæk) 4) f)x ) = u t gx ) optimalitet) Og hvis x, u) opfylder ovenstående betingelser og A R: x fx) + u t gx) er konveks så er x en løsning til minimeringsproblemet Karush Kuhn Tuckers Sætning indeholder både optimering uden bibetingelser Sætning 32) og Lagranges Sætning Sætning 42) som specialtilfælde g 1 0,, g m 0, g 1 0,, g m 0) [Vi ser lige bort fra at LICQ ikke er opfyldt - se [3]] 6 Optimering under bibetingelser givet ved ligheder og uligheder Vi betragter i dette afsnit minimeringsproblemet P) Maksimér f under bibetingelserne g i x) b i for i I og g i x) = b i for i I I hvor A er en åben delmængde af R n ; I er en delmængde af I = {1,, m} f, g i, i I, er defineret på A; De mulige løsninger MP ) = {x A g i x) b i, i I, g i x) = b i, i I } er de punkter i A som opfylder alle bibetingelser Vi siger at en mulig løsning x MP ) opfylder LICQ Linear Independence Constraint Qualification) hvis gradienterne for de aktive bibetingelser er lineært uafhængige i x, dvs hvis { g i x ) i I, g i x ) = 0} er en lineært uafhængig mængde af vektorer Definition 61 Punktet x A er en optimal løsning til P) hvis x MP ) og fx) fx ) for alle x MP ) Sætning 62 Karush Kuhn Tucker nødvendig betingelse KKTNB) [4, Theorem 129] Antag at A er en åben delmængde af R n og at f, g 1,, g m er C 1 -funktioner defineret på A Antag at x MP ) være en optimal løsning til programmet P ) som opfylder LICQ Så findes en vektor u R m sådan at x, u) opfylder Karush Kuhn Tucker betingelserne 1) u i 0 for alle i I ; 2) g i x ) b i for i I og g i x ) = b i for i I ; 3) u i g i x ) b i ) = 0 for alle i I komplementær slæk) 4) fx ) = u i g i x ) optimalitet) i I Sætning 63 Karush Kuhn Tucker tilstrækkelig betingelse KKTTB) Hvis A er konveks betingelserne fra Sætning 62 er opfyldt x fx) u t gx) er konkav så er x optimal Eksempel 71 Lagrange sætning 42) 7 Eksempler P) Maksimér fx 1, x 2 ) = x 2 under bibetingelsen gx 1, x 2 ) = 1 4 x x2 2 1 = 0 Problemet er at finde det højeste punkt på ellipsen MP ) = g 1 1 1) Den eneste optimale løsning er x = 0, 3) Lad os nu se om LNB og LTB giver det rigtige svar

14 14 1 IKKE-LINEÆR OPTIMERING h 1 x ) Generel Karush Kuhn Tucker x OP ) = fx ) cone{ g i x ) g i x ) = 0} + span{ h k x )} g 1 = 0 g 1 x ) h 1 = 0 MP ) h 1 x ) fx ) = u 1 gx ) + v 1 h 1 x ) Figur 5 KKTNB f0, 3) MP ) f = +1 f = 0 f0, 3) f = 1 Gradienterne for objektfunktionen og bibetingelsen er f = 0 1), g = ) 1 x x 2 MP ), mængden af mulige løsninger, er en ellipse Bibetingelsens gradient er lineært uafhængig, dvs 0, på hele MP ) LNB fra Sætning 42 giver derfor at ) OP ) {x 1, x 2) MP ) u 0 : = u 1) 1 x 1 2 } 9 x 2 Vektorerne i mængden på højresiden er kandidater til optimale løsninger Efter en lille overvejelse ser vi at den består af de to punkter 0, ±3) I disse to punkter er f0, 3) = 3 2 g0, 3), f0, 3) = 3 g0, 3), 2 Vi ved altså nu at OP ) {0, 3), 0, +3)} Men 0, 3) er ikke optimalt fordi f0, 3) = 3 < 3 = f0, 3) Altså er OP ) {0, +3)} Det betyder at der er enten ingen eller præcis ét optimal løsning Hvordan kan vi nu argumentere for at 0, 3) faktisk er optimal? Her er to muligheder: Da ellipsen MP ) er kompakt og f er kontinuert, så har f en største værdi på MP ), dvs at OP ) Da f 3 2 g er konkav og f 3 2g)0, 3) = 0, så er 0, 3) optimal ifølge LTB fra Sætning 46 Eksempel 72 Lagrange sætning 42) P) Maksimér x x x 2 3 under bibetingelserne x x x 2 3 = 1, x 1 + 3x 2 + 2x 3 = 1

15 7 EKSEMPLER 15 y MP ) fx, y) = x 2 + 2y fx, y) = 2x, 2) x Figur 6 Eksempel 73 De mulige løsninger MP ) = {x 2 1 +x x 2 3 = 1, x 1 +3x 2 +2x 3 = 1} er kompakt, så den kontinuerte objektfunktion fx 1, x 2, x 3 ) = x x x 2 3 har både et maksimum og et minimum på MP ) Gradienterne 2x 1 1 g 1 = 2x 2, g 2 = 3 8x 3 2 er lineært uafhængige i planen {x 1, x 2, x 3 ) x 1 + 3x 2 + 2x 3 = 1} og specielt også i hele MP ) LNB siger derfor at OP ) er en delmængde af mængden af de x 1, x 2, x 3 ) MP ) for hvilke der findes u 1, u 2, u 3 R sådan at Lagrange betingelserne 1) x x x 2 3 = 1, x 1 + 2x 2 + 3x 3 = 1 2x 1 2x ) 2x 2 u 1 2x 2 u 2 3 = 0 2x 3 8x er opfyldt Der er to muligheder, 3 x 1, x 2, x 3, u 1, u 2 ) =, 1, 0, 1, 0), x 1, x 2, x 3, u 1, u 2 ) = ζ, 3 7 ζ, ζ, 5 22, ζ), ζ = 22 som må være maksimum f = 1) og minimum f = ) af f på MP ) Eksempel 73 [6, Eksempel 2, p 261] P) Maksimér x 2 + 2y under bibetingelserne x 2 + y 2 5, y 0 Den kontinuerte objektfunktion fx, y) = x 2 + 2y har både et maksimum og et minimum på den kompakte mængde MP ) = {x 2 + y 2 5, y 0} Figur 6 viser at gradienterne for de aktive bibetingelser er lineært uafhængige i alle punkter i MP ) KKTNB siger at for enhver optimal løsning, x, findes u, v R så 1) u 0, v 0 2) x 2 + y 2 5, y 0 3) ux 2 ) + y 2 5) ) = 0, vy = ) 0 ) 2x 2x 0 0 4) u v = 2 2y 1 0 Da der er 2 bibetingelser kan analysen deles ind i 2 2 = 4 tilfælde: Ingen bibetingelser er aktive, netop en bibetingelse er aktiv, begge bibetinngelser er aktive I dette tilfælde finde vi at KKt-betingelserne har de tre løsninger x, y, u, v) = ±2, 1, 1, 0), 0, 5, 1/ 5, 0) Da x, y) fx, y) g 1 x, y) = x 2 + 2y x 2 + y 2 5) = y 2 + 2y 5 er konkav en sur parabel) er x, y) = ±2, 1) globale minimumspunkter med værdi fx, y) = 6 Eksempel 74 De nødvendige Karush Kuhn Tucker betingelser er ikke tilstrækkelige) P) Minimer 2x x 2 under bibetingelserne x 0, x 3 Da fx) = 2x x 2 er en sur parabel er minimumspunktet et af endepunkterne for intervallet [0, 3] Da f0) = 1 og f3) = 3 er det faktisk x = 3 som er løsningen til P) Karush Kuhn Tucker betingelserne

16 16 1 IKKE-LINEÆR OPTIMERING 1) u 1 0, u 2 0 2) 0 x 3 3) u 1 x = 0, u 2 x 3) = 0 4) 2 2x u 1 + u 2 = 0 er opfyldt for x, u 1, u 2 ) = 1, 0, 0), 0, 2, 0), 3, 0, 4) Men det er altså kun det sidste der er et minimumspunkt Det første er et lokalt minimum og det andet er et maksimumspunkt) Eksempel 75 De nødvendige Karush Kuhn Tucker betingelser er ikke tilstrækkelige) Karush Kuhn Tucker betingelserne 1) u 0 2) x 1 3) ux 1) = 0 4) 2x 2y ) + u 1 0 = 0) 0) P) Minimer x 2 + y 2 ) under bibetingelsen x 1 0 er opfyldt for x, y, u) = 0, 0, 0) og x, y, u) = 1, 0, 2) Ingen af dem er løsninger til P) for P) har ingen løsninger da objektfunktionen x 2 + y 2 ) ikke er nedad begrænset på MP ) = {x, y) x 1} Det havde straks gået meget bedre hvis vi havde forsøgt at minimere f = x 2 + y 2 Eksempel 76 Eksamen 07/08 Opg 3) Lad Q være en kvadratisk positiv semidefinit n n)-matrix, A en m n)-matrix og b R m, c R n vektorer Betragt det konvekse kvadratiske optimeringsproblem P) Minimer c x xt Qx under bibetingelserne Ax b Karush Kuhn Tucker betingelserne er 1) u 0 2) Ax b 3) u Ax b) = 0 4) c + Qx + A t u = 0 Ifølge Sætning 59 og Sætning 511 er x en løsning til P) hvis og kun hvis der findes u så x, u ) opfylder Karush Kuhn Tucker betingelserne Eksempel 77 Konveks optimering) [6, Eksempel 1, p 260] P) Maksimér 1 2 x y under bibetingelserne x + e x y 0, x 0 Bibetingelsernes gradienter er altid lineært uafhængige Karush Kuhn Tucker betingelserne er 1) u 0, v 0 2) x + e x y, x 0 3) ux + e x y) = 0, vx = 0 4) 1/2 1 ) u 1 e x 1 ) v 1 0 ) 0 = 0) Figur 7 viser at det eneste punkt som opfylder betingelserne er x, y, u, v) = ln2), ln2) + 1 2, 1, 0) Det følger også af betingelserne: Fra 4) får vi u = 1 så x, y) ligger på grafen for x + e x Hvis x > 0 er v = 0 så e x ) = 0 og x = ln2)) Da fx, y) g 1 x, y) = 1 2 x exp x) er konkav er x, y) = ln2), ln2) ) faktisk en optimal løsning til P) Eksempel 78 Lagrange multiplikatorer er skyggepriser for bibetingelser) I maksimeringsproblemet Pb)) Maximer f under bibetingelser g 1 = b 1,, g m = b m afhænger bibetingelserne af de exogene) variable b = b 1,, b m ) Hvad sker der med de optimale løsninger når den exogene variable b ændres?

17 7 EKSEMPLER 17 y g 2 g 1 g 2 g 1 g 2 g 2 MP ) g 1 g 2 g1 g 1 g 1 fx, y) = 1 2 x y fx, y) = 1 2, 1) x Figur 7 Eksempel 77 Lagrangebetingelserne for optimeringsproblemerne Pb) er F x, u, b) = 0 hvor F : R n R m R m R m R n er funktionen g 1 x) b 1 ) ) gx) b F x, u, b) = f ) g m x) b m = ) gx) b u j g j x) x f uj g j x) = 1 f u t g ) x) ) x f uj g j x) n Vi kan derfor sige x, u) opfylder LNB for Pb) F x, u, b) = 0 Kan vi finde x, u) = xb), ub)) i disse ligninger som en funktion af de exogene variable b? Ja, det kan vi ifølge Implicit Funktion Sætning forudsat at Jacobi matricen for F efter de endogene variable x, u) er invertibel Vi vil da have 79) ) x F u + F x, u) b b = 0 eller ) x u b) = F b x, u) x, u, b) 1 F b x, u, b) hvor ) x u = b x b u b x 1 b 1 ) x n = b 1 u 1 b 1 u m b 1 x 1 b n x n b n u 1 b n u m b n

18 18 1 IKKE-LINEÆR OPTIMERING De partielle afledte efter de endogene variable x, u) g 1 x 1 g b F 710) x,u) = f u t g ) g m x x,u) = 1 ) 2 x 1 x 1 f uj g j ) 2 x 1 x n f uj g j g 1 x 0 0 n g m x 0 0 n g1 x gn 1 x 1 g1 x gn n x n 2 x n x 1 f uj g j ) 2 x n x n f uj g j ) er en kvadratisk n + m) n + m) matrix De partielle afledte efter de exogene variable b ) F 711) b = E Em m+n[1, m] = 0 n,m H f u t g ) g x )t x b u b = g x 0 g x )t H f u t g ) er 1 gange de m første søjler i m + n) m + n) enhedsmatricen E m+n I dette tilfælde giver ligningerne 79), hvis vi indsætter udtrykkene fra 710) og 711), at ) ) ) g x 0 Em = 0 n,m som giver at g x x b = E m, og at m + n) m matricen x u) ) 1 F = b x,u) Em+n [1, m]) = H f u t g ) x ) t b = g u x b F x,u) ) 1 [1, m] = er de m første søjler i den inverse af m + n) m + n)-matricen ) 1 F x,u) g x 0 g x )t H f u t g ) ) 1 [1, m] Hvordan afhænger den optimale løsning x b), u b)) af de exogene variable b?: x ) ) x b + b) x u ) ) 1 b) u) x b + b) u + b = g b) b) b u + x 0 b) H f u t g ) [1, m] b er en approximativ løsning til Lagrangeligningerne Hvordan ændres fx b)) når b ændres?: fordi fxb)) b = f x x g x )t fx b + b)) fx b)) + fxb)) b = fx b)) + u b) t b b b = m j=1 u j g j x m x b = da Lagrangebetingelsen f x = g u j j x j=1 u j [j] g x x u m b = 0 u u j [j]e m = 2 j=1 0 0 u m er opfyldt I denne formel står [j]a for række j i matrix A) Økonomer tolker x b) som den optimale strategi, der giver den optimale nytteværdi fx b)), under givne exogene variable b Formlen for x b + b) informerer om ændringen i den optimale strategi og formlen for fx b + b)) om ændringen i den optimale nytte under en lille ændring b i de exogene variable )

19 8 MATEMATISK ØKONOMISKE MODELLER 19 Lagrange multiplikatorerne u b) kaldes for bibetingelsernes skyggepriser Lad p = p 1,, p m ) være de faktiske priser for de m exogene variable b = b 1,, b m ) Det kræver en investering på p t b at ændre b til b + b og det giver en ændring i nytteværdi som er u b) t b Investeringsgevinsten er altså u b) p) t b Investeringen er profitabel hvis dette tal er positivt Læg mærke til at u b) for komparativ statistik er mere interesant end x b) fordi systemet af sig selv finder frem til x b) mens u b) fortæller om nytteværdiens følsomhed for ændringer i de exogene variable Det kan feks være et politisk ønske at ændre på fx b)) Den størst mulige effekt opnås ved at tage ændringen b i samme retning som u b) 8 Matematisk økonomiske modeller I økonomisk teori antager man at vi har opnået et maksimum og man ønsker at sige noget om hvad der der sker når de exogene variable ændres Vi antager et maksimum er blevet antaget og vi ønsker at sige noget om hvilke konsekvenser vi kan drage af det Eksempel 81 [6, Eksempel 2 p 271] Et elektricitetsværk inddeler året i n perioder Lad x j være produktionen i periode i og p i prisen for elektricitet i den periode, 1 i n Værkets kapacitet k er konstant over hele året Værkets udgifter består af driftsomkostninger Cx) = Cx 1,, x n ), som kun afhænger af produktionsmønsteret x, og kapacitetsomkostninger Dk), som kun afhænger af kapaciteten k Værkets årlige profit er og profitmaksimeringsproblemet er πx, k) = p x Cx) Dk) P) Maksimér πx, k) under bibetingelserne 0 x 1 k,, 0 x n k, k 0 Der er her 2n + 1 bibetingelser, x i k 0 og x i 0 for 1 i n, og k 0 Hvis x, k) er et årligt produktionsmønster med maksimal profit så er Karush Kuhn Tucker betingelserne opfyldt: 1) u 1,, u n 0, v 1,, v n 0, w 0 2) 0 x i k for 1 i n, og k 0 3) u i x i k) = 0 og v i x i = 0 for 1 i n, og wk = 0 4) π x = p i C i x i x) u i v i = 0 for 1 i n, og π k = D k + n i=1 u i + w = 0 Lad os antage at produktionen x i > 0 i alle perioder og at kapaciteten k > 0 Så er w = 0 og Ligningerne siger også D k = n u i i=1 0 < x i < k = u i = 0 = v i = p i = C x i x) 0 < x i k = v i = 0 = p i = C x) + u i x i Dvs at i perioder hvor produktionen ligger under den maksimale kapacitet så dækker salgsprisen lige akkurat de marginale driftsomkostninger I en periode i med spidsbelastning overstiger salgsprisen de marginale driftsomkostninger med u i Summen af disse overskridelser over alle spidsbelastningsperioder er lig med den marginale kapacitetsomkostning Ligningen 1 i n er opfyldt når værket drives med maksimal profit p i = D k + Eksempel 82 Fortolkning af Lagrange multiplikatoren i en økonomi med to goder) Lise lever af hamburgere og cola Prisen for en hamburger er p 1 og prisen for en cola er p 2 Lises indkomst er I Sæt fx 1, x 2 ) = a 1 lnx 1 ) + a 2 lnx 2 ) og gx 1, x 2 ) = p 1 x 1 + p 2 x 2 hvor x 1 > 0 og x 2 > 0 Funktionen fx 1, x 2 ) er Cobb Douglas) nytteværdien af og funktionen gx 1, x 2 ) er prisen for x 1 hamburgere og x 2 colaer De positive 1 konstanter a 1 og a 2 afspejler Lises preferencer for hamburgere eller colaer Ved at re-skalere f med a 1+a 2 om nødvendigt kan vi godt antage at a 1 + a 2 = 1 Lise er en prisbevidst forbruger og hun, eller den usynlige hånd, har derfor løst optimeringsproblemet PI)) 1 i n C x i Maksimér f under bibetingelsen g = I

20 20 1 IKKE-LINEÆR OPTIMERING Gradienten for bibetingelsen g = p 1, p 2 ) er 0 i alle punkter Lagrange sætning Sætning 42) siger at hvis x 1, x 2 ) er optimal så findes en Lagrange multiplikator u R så p 1 x 1 ) + p 2 x 2 I = 0 ) a1 x 1 a 2 x 2 = u p1 p 2 Det giver at det optimale forbrug og Lagrange multiplikator som funktion af indkomsten I er x Ia 1 1I) 83) x p 2I) 1 = u I) = a1p2 a 2p 1 Brug 1 = a 1 + a 2 = up 1 x 1 + up 2 x 2 = ui, x1 x 2 at komme frem til dette Den optimale værdi er Ia 2 p 2 1 I og I = p 1 x 1 + p 2 x 2 = p 2 x 2 p1x1 p 2x 2 + 1) = p 2 x 2 a1 a 2 + 1) = p2x2 a 2 supp I)) = fi a 1 p 1, I a 2 p 2 ) = lni) + fa 1, a 2 ) fp 1, p 2 ) Hvordan ændres x 1I), x 2I), u I)) når I ændres?: x 1 x 1 x 2 I + I) x u 2 I) + u a 1 p 1 a 2 p 2 1 I 2 I Hvordan ændres fx I)) når I ændres?: I maksimatoren x 1I), x 2I)) har f gradient ) x f 1 I) x = 1 ) p1 2I) I p 2 Den maksimale nytteværdi fx 1I + I), x 2I + I)) fx 1I), x 2I)) + f ) x 1 I) x 2I) a1 p 1 a 2 p 2 ) I = fx 1I), x 2I)) + I I vokser omvendt proportionalt med I: Den marginale nytteværdi af en lønforhøjelse er omvendt proportional med lønniveauet Lagrange multiplikatoren u I) = 1 I er i dette eksempel lig med den marginale nytteværdi det er ikke tilfældigt! Se Eksempel 78) Eksempel 84 Lad a 1 og a 2 være positive konstanter så a 1 + a 2 = 1 Cobb Douglas) Sæt fx 1, x 2 ) = a 1 lnx 1 ) + a 2 lnx 2 ) g 1 x 1, x 2 ) = 2x 1 + x 2, g 2 x 1, x 2 ) = x 1 + 2x 2 for x 1 > 0 og x 2 > 0 Vi forestiller os at fx 1, x 2 ) er nytteværdien og at g 1 x 1, x 2 ) og g 2 x 1, x 2 ) er forbruget af to to resurcer energi og areal) ved produktion af x 1 enheder af produkt nr 1 og x 2 enheder af produkt nr 2 Der er 300 energienheder og 450 arealenheder til rådighed for produktionen P) Maksimér f under bibetingelserne g 1 300, g Hvis a 2 er stor, er det en fordel at produce produkt nr 2 som kræver meget jord Derfor vil økonomiens begrænsning ligge i mængden af tilgængelig jord g 2 er aktiv) mens skyggeprisen på energi vil være u 1 = 0 da g 1 ikke er aktiv Hvis a 2 er lille, dvs a 1 er stor, er det en fordel at produce produkt nr 1 som kræver meget energi Derfor vil økonomiens begrænsning ligge i mængden af tilgængelig energi g 1 er aktiv) mens skyggeprisen på jord vil være u 2 = 0 da g 2 ikke er aktiv Hvis a 2 har en mellemværdi så er det en fordel at producere en blanding af de to produkter Karush Kuhn Tucker betingelser 1) u 1 0, u 2 0 2) 2x 1 + x 2 300, x 1 + 2x ) u 1 2x 1 + x 2 300) = 0, u 2 x 1 + 2x 2 450) = 0 4) a1 x 1 2u 1 u 2 = 0, a2 x 2 u 1 2u 2 = 0 Overvej hvad betingelse 4) betyder geometrisk på linjerne 2x 1 + x 2 = 300 og x 1 + 2x 2 = 450 og i deres skæringspunkt, 50, 200) Se Figur 8 Den økonomiske tolkning af betingelse 3) om komplementær slæk er at hvis energibetingelse g 1 er slæk, g 1 x 1, x 2 ) < 0, så er der stadig energi til rådighed og derfor er skyggeprisen på energi lig 0, dvs u 1 = 0 Ved en systematisk behandling af Karush Kuhn Tucker betingelserne må vi gå igennem de fire muligheder: til

21 8 MATEMATISK ØKONOMISKE MODELLER 21 Figur 8 a 2 = 11/12 u 1 = 0, u 2 > 0), a 2 = 3/4 u 1 > 0, u 2 > 0) og a 2 = 1/3 u 1 > 0, u 2 = 0) u 1 = 0, u 2 = 0: Begge bibetingelser inaktive Hverken energi eller jord er fuld udnyttet Det lyder ikke som et sandsynligt maksimum Her er a 1 = 0 og a 2 = 0 Umuligt u 1 = 0, u 2 > 0: Den anden bibetingelse er aktiv Jorden er er fuldt udnyttet, x 1 +2x 2 = 450 Her er a 2 8/9 stor u 1 > 0, u 2 = 0: Den første bibetingelse er aktiv Energi er fuldt udnyttet, 2x 1 + x 2 = 300 Her er a 2 2/3 lille u 1 > 0, u 2 > 0: Begge bibetingelser er aktive Både energi og jord er fuldt udnyttet Her er 2/3 < a 2 < 8/9 og x 1, x 2 ) = 50, 200) Hvis feks a 2 = 11/12 så er u 1 = 0 og u 2 > 0 Modellen siger at da u 2 > 0 er al jord er udnyttet, men der er stadig energi som ikke er udnyttet Skyggeprisen på jord er positiv, mens skyggeprisen på energi er u 1 = 0 da tilførsel af mere energi ikke vil øge objektfunktionen Eksempel 85 [6] Ved produktionsstrategi v = v 1,, v n ) 0, afsætningspris p > 0 og omkostninger q = q 1,, q n ) > 0 er profitten πp, q, v) = pfv) q v, p > 0, q > 0, v 0 hvor fv) er produktionen ved strategi v Vi antager at f er en C -funktion Desuden antager vi at for ethvert v reelt tal a > 0 findes der et tal K a sådan at fv) v < a når v > K a For givne k > 0, c > 0 og a > 0 sæt Så har funktionen X k,c) = {p, q) R >0 R n >0 0 < p < k, c,, c) < q}, en kontinuert værdifunktion [6] Men når p, q) X k,c) er V p, q) = π : X k,c) Y k,c) R sup πp, q, v): X k,c) R v Y k,c) max πp, q, v) = sup πp, q, v) v Y k,c) v 0 Y k,c) = R n 0 B0; K c k n ) For at se det, lad u 0 være en enhedsvektor Den afledte i t, hvor t > K c, af funktionen t πp, q, tv) = k n pftv) tq v, er p ftu) u q u p ftu) u c p c n k n c n c n c n = 0 Dette viser at t πp, q, tv) er aftagende når t > K c k n Da ethvert punkt p, q) R >0 R n >0 ligger i en af de åbne mængder X k,c), ser vi at værdifunktionen V : R >0 R n >0 R, V p, q) = sup πp, q, v), v 0

22 22 1 IKKE-LINEÆR OPTIMERING er veldefineret og kontinuert: Der findes en optimal produktionsstrategi og den maksimale profit afhænger kontinuert af salgspris og omkostningspriser Det er ikke givet at den optimale produktionsstrategi er entydig eller kontinuert afhængig af priserne Eksempel 86 Cobb Douglas production function Google search på nonlinear optimization

23 KAPITEL 2 Lineær optimering 1 Hvad er lineær optimering? Hvad er et lineært maksimeringsprogram? Lad A være en m n matrix b en m-vektor c en n-vektor Sæt I = {1,, m} og J = {1,, n} og lad I I og J J være delmængder Mængden I vil blive brugt til at indicere problemets bibetingelser, og mængden J til at indicere problemets variable x = x j ) j J Et generelt lineært program har formen P) Max c t x under bibetingelser [i]ax [i]b i I [i]ax = [i]b [j]x 0 i I j J Bibetingelser indiceret ved I er uligheder og variable indiceret ved J er positive Vi vil også skrive 1 P) Max c t x under bibetingelser [I ]Ax [I ]b, [I I ]Ax = [I I ]b, [J ]x 0 for at gøre det lidt mere kompakt En tilladt løsning eller mulig løsning til P) er en vektor x R J som opfylder alle bibetingelser Vi skriver MP ) = {x R J [I ]Ax [I ]b, [I I ]Ax = [I I ]b, [J ]x 0} for det konvekse polyeder af alle mulige løsninger til P) Den optimale værdi for P) er supp ) = sup{ax x MP )} og en optimal løsning for P) er en tilladt vektor x MP ) sådan at fx ) = supp ), dvs fx ) fx) for alle x MP ) Vi skriver OP ) = {x MP ) c t x = supp )} for mængden af optimale løsninger Eksempel 11 Her er et eksempel på et generelt lineært program P) Maksimér x 1 + 5x 2 2x 3 under bibetingelser 2x 1 + 3x 2 3 x 1 + 2x 2 x 3 = 4 x 1 0, x 2 0 hvor I = {1, 2}, I = {1}, J = {1, 2, 3}, J = {1, 2} og 1 ) c = , A =, b = Her er nogle nyttige regneregler: [i]ab) = [i]a)b og [I ]AB) = [I ]A)B AB)[j] = AB[j]) og AB)[J ] = AB[J ]) x 1 x n Ax = A = A[1] A[n] ) = j J A[j])x j = x 1 A[1] + + x n A[n] er en linearkombination i R m af de n søjler i A 1 Vi skriver [I ]A for I -rækkerne og A[J ] for J -søjlerne i A x 1 x n )

24 24 2 LINEÆR OPTIMERING Figur 1 Geometrisk løsning af LP fra Eksempel 21 y t A = [1]A ) ) y 1 y m A = y1 y m = i I y i[i]a = y 1 [1]A + + y m [m]a er en linearkombination i R n af de m rækker i A [m]a y t Ax = i I,j J y i[i]a[j]x j Vi skal se at ethvert lineært maksimeringsprogram P) har et dualt minimeringsprogram P ) som i Definition 31 Teorien, som handler om dualiteten mellem det primale program P) og det duale program P ), kulminerer med Dualitetssætningen 81 Kanoniske programmer og standard programmer er specielle lineære programmer Vi vil først omtale kanoniske programmer Dernæst vil vi se på standard programmer Vi formulerer dualitet først for standard programmer og dernæst for generelle programmer Svag dualitet er en banalitet; stærk dualitet en subtilitet 2 Geometrisk løsning Løsning af et lineært program kan fortolkes geometrisk Vi skal her se et eksempel i dimension 2 hvor det er lettest at se ideen Eksempel 21 Maksimeringsproblemet går ud på at finde et punkt i mængden P) Maksimér x 1 + x 2 under bibetingelser 2x 1 x 2 3 x 2 1 x 1 0 MP ) = {x 1, x 2 ) R 2 2x 1 x 2 3 0, x 2 1, x 1 0} med størst mulig koordinatsum se Figur 1 Geometrisk kommer det ud på at parallelforskyde linjen x 1 + x 2 = 0 i retning 1, 1) lige indtil den forlader MP ) En optimal løsning er et punkt i MP ) med maximal koordinatsum 3 Generelle lineære programmer I et generelt lineært maksimeringsprogram kan der både være bibetingelser givet ved uligheder og ved ligheder og der kan både være fortegnskrav og ikke være fortegnskrav på de variable Definition 31 Et generelt lineært program har formen og det duale program er P) Maksimér c t x under bibetingelser [I ]Ax [I ]b, [I I ]Ax = [I I ]b, [J ]x 0 P ) Minimér y t b under bibetingelser y t A[J ] c t [J ], y t A[J J ] = c t [J J ], y t [I ] 0

25 4 DUALITETSLEMMAET 25 I tableauet for et generelt lineært program hvor vi for nemheds skyld antager at I = {1,, i} og J = {1,, j}) markerer vi I -rækker og J -søjler med stjerner x 1 0 x j 0 x j+1 x n b y 1 0 a 11 a 1j a 1j+1 a 1n b 1 y i 0 a i1 a ij a ij+1 a in b i y i+1 a i+11 a i+1j a i+1j+1 a i+1n = b i+1 y m a m1 a mj a mj+1 a mn = b m c t c 1 c j = c j+1 = c n Rækkerne, med x j erne tilføjet, viser de primale bibetingelser og søjlerne, med y i erne tilføjet, de duale bibetingelser 4 Dualitetslemmaet Vi betragter et generelt lineært program og dets duale program som i Definition 31 Lemma 41 Dualitetslemma) Lad x MP ) og y MP ) være tilladte løsninger Så gælder: 1) c t x y t Ax y t b 2) c t y t A ) x 0, y t Ax b ) 0 3) c t y t A ) [J ][J ]x 0, y t [I ][I ] Ax b ) 0 4) c t x supp ) infp ) y t b 5) Hvis c t x y t b, så er x og y optimale løsninger, og ulighedstegnene i 1) 4) er lighedstegn Bevis Vi har at c t y t A ) x = c t y t A ) [J ][J ]x + c t y t A ) [J J ][J J ]x = c t y t A ) [J ][J ]x + 0 = c t y t A ) [J ][J ]x og y t Ax b ) = y t [I ][I ] Ax b ) + y t [I I ][I I ] Ax b ) = y t [I ][I ] Ax b ) + 0 = y t [I ][I ] Ax b ) Disse to tal er produktet af en rækkevektor 0 med en søjlevektor 0 Derfor er de 0 Det er nu klart at 1), 2) og 3) gælder 4): Alle elementer i {c t x x MP )} ligger under alle elementer i {y t b x MP )} Af generelle grunde er supp ) infp ) 5): Hvis c t x y t b, så er der lighedstegn i 4) og 1) og dermed også i 2) og 3) Antag at x MP ) og y MP ) er mulige løsninger og at, mirakuløst, c t x y t b Så siger Lemma 415) at x OP ) og y OP ) faktisk er optimale løsninger og at 42) i I : y i = 0 eller [i]ax = b i, j J : x j = 0 eller y t A[j] = b j Den sidste egenskab, komplementær slæk, kommer af at ulighedstegnene i Lemma 413) er lighedstegn, så vi har Situationen er i I : y i [i]ax b) = 0, j J : c t y t A)[j] x j = 0 supp )? infp ) c t x, x MP ) y t b, y MP ) men vi ved ikke hvor langt der er mellem supp ) og infp ) I det næste korollar leger vi med tanken om at der ikke er noget gab mellem de to optimale værdier Vi skal senere se at det er der ikke hvis ellers både det primale og det duale program har mulige løsninger) Korollar 43 Disse to betingelser er ækvivalente: 1) P) og P ) har optimale løsninger og ens optimale værdier, supp ) = infp ) 2) Der findes x MP ) og y MP ) så c t x y t b Bevis Hvis vi antager 1), så findes x MP ), y MP ) med c t x = y t b; det er 2) Hvis vi antager 2) så er faktisk c t x = supp ) = infp ) = y t b ifølge Lemma 414) Altså er x en optimal løsning til P) og y en optimal løsning til P ), og de optimale værdier er ens

26 26 2 LINEÆR OPTIMERING Maksimér c t x Ax b, x 0 Ax b Ax = b, x 0 Ax = b Minimér y t b y t A c t, y t 0 y t A = c t, y t 0 y t A c t y t A = c t Type I = I, J = J I = I, J = I =, J = J I =, J = Navn standard kanonisk Tabel 1 Liste over primale og duale programmer Eksempel 44 Tableauet x 1 x 2 x 3 y y = = 2 beskriver det programmet fra Eksempel 11 og dets duale program P) Max x 1 + 5x 2 2x 3 ub 2x 1 + 3x 2 3 x 1 + 2x 2 x 3 = 4 x 1 0, x 2 0 P ) Min 3y 1 +4y 2 ub 2y 1 + y 2 1 3y 1 + 2y 2 5 y 2 = 2 y 1 0 I minimeringsprogrammet P ) er y 2 = 2 P ) går derfor ud på at minimere 3y 1 +8 under bibetingelserne 2y 1 1, 3y 1 1, y 1 0 Mulighedsområdet er MP ) = [1/3, 1/2], så en optimal løsning er y 1, y 2 ) = 1/3, 2) og den optimale værdi er infp ) = 9 Antager vi at der findes en optimal løsning x 1, x 2, x 3 ) til P ) med optimal værdi x 1 + 5x 2 2x 3 = 9 og det vil vi senere vise faktisk er tilfældet) så kan vi udnytte komplementær slæk 42,??) til at bestemme den Da 2y 1 + y 2 = 2/3 + 2 = 4/3 > 1 er x 1 = 0, og da y 1 > 0 er 2x 1 + 3x 2 = 3 Altså er x 2 = 1 og så er x 3 = 2 x 1, x 2, x 3 ) = 0, 1, 2) er faktisk en optimal løsning til P ) ifølge Lemma 415), da det er en mulig løsning og kriteriefunktionerne i x og y begge har værdien 9) 5 Kanoniske programmer I et kanonisk maksimeringsprogram er alle bibetingelser givet ved ligheder og der er et fortegnskrav på alle variable Det betyder at I = og J = J Definition 51 Et kanonisk lineært program har formen og det duale program har formen P) Maksimér c t x under bibetingelser Ax = b, x 0 P) Minimér y t b under bibetingelser y t A c t I et kanonisk programs tableau x 1 0 x j 0 x n 0 b y 1 a 11 a 1j a 1n = b 1 y i a i1 a ij a in = b i y m a m1 a mj a mn = b m c t c 1 c j c n er der stjerner på alle primale variable x j ), da de er underlagt positivitskravet, men ingen stjerner på de duale variable y i ), da ingen bibetingelser er uligheder Definition 52 En mulig løsning x MP ) til det kanoniske program P) er en basisløsning hvis de benyttede søjler {A[j] j J, x j > 0}

27 5 KANONISKE PROGRAMMER 27 er lineært uafhængige Der er kun endeligt mange basisløsninger: 1) Der er kun endeligt mange delmængder J af J så søjlerne i matricen A[J ] er lineært uafhængige; 2) For hver J J som i 1) findes højst en vektor [J ]x > 0 med A[J ][J ]x = b Her er den geometriske tolkning som er vigtig for simplex algoritmen) Sætning 53 En mulig løsning x MP ) er en basisløsning hvis og kun hvis x er et hjørne i det konvekse polyeder MP ) En mulig løsning x MP ) er et hjørne i det konvekse polyeder MP ) hvis x ikke ligger mellem to andre punkter fra MP ) basisløsning MP ) MP ) = {x 1, x 2, x 3 ) 0 x 1 + x 2 + x 2 = 1} basisløsning basisløsning Fordelen ved kanoniske systemer er Sætning 54 Hvis P) har en optimal løsning, så har P) også en optimal basisløsning Bevis Lad x være en optimal løsning til det kanoniske maksimerings program P) Definition 51) Lad J = {j J x j > 0} være mængden af de index j J hvor x j 0 Hvis de benyttede søjler {A[j] j J } er lineært uafhængige, så er x en basisløsning og vi er færdige Antag derfor at de benyttede søjler {A[j] j J } er lineært afhængige Vælg y R n så Ay = 0, y benytter de samme søjler som x og y j > 0 for mindst et j Vi påstår at c t y = 0: Når λ er tæt ved 0, lad os sige λ < ε, så x λy en mulig løsning fordi x λy 0 og Ax λy) = Ax λay = Ax = b Men så er c t x λy) = c t x λc t y c t x dvs λc t y 0 da x er en optimal løsning Men her kan λ have begge fortegn, så det kan kun være rigtigt hvis faktisk c t y = 0 Da c t y = 0 ser vi at alle punkter af formen x λy er optimale løsninger når x λy 0, dvs x j λy j 0 for alle j Hvis y j 0 er dette OK Hvis y j > 0 og det sker for mindst et j) forlanger vi at λ xj y j Hvis vi sætter λ = min{ x j y j j J, y j > 0} så er λ > 0 og x λy er en mulig, faktisk optimal, løsning Nu er x j λy j = 0 for mindst et j J Vi har altså fundet en optimal løsning som benytter færre søjler Hvis de benyttede søjler er linerært uafhængige, er vi færdige Hvis ikke, kører vi den samme procedure igen Denne proces stopper; i hvert fald ved den tomme mængde, som er lineært uafhængig Da der kun er endeligt mange basisløsninger er løsningen af kanoniske programmer fuldstændig algoritmisk og dermed afsluttet set fra et teoretisk matematisk synspunkt Den eneste generelle løsningsmetode vi har går på at omskrive til at kanonisk program, finde alle basisløsninger, og vælge den basisløsning der maksimerer objektfunktionen Fra Sætning 54 ved vi at det er en optimal løsning Ethvert lineært program er ækvivalent med et kanonisk program Men det kanoniske program har fået flere variable og vil ofte i praksis være mere uhåndterligt end det oprindelige program Det er en af ulemperne ved kanoniske programmer En anden rent æstetisk?) ulempe er at der ikke er symmetri mellem I, I og J, J se Tabel 1) Ethvert generelt lineært program kan omformuleres til et kanonisk program ved at erstatte de ubegrænsede variable [J J ]x med [J J ]x [J J ]u og forlange [J J ]x 0, [J J ]u 0 bibetingelserne [I ]Ax [I ]b givet ved uligheder med bibetingelser [I ]Ax + [I ]v = [I ]b givet ved ligheder hvor v 0 Ved omskrivningen introduceres J J + I nye variable u j, j J J, og v i, i I, men antallet af bibetingelser er uændret

28 28 2 LINEÆR OPTIMERING Definition 55 Det kanoniske program associeret til det generelle program P) fra Definition 31 er t c P) Max [J J ]c x u under bibetingelser A A[J J ] E I [I ] ) x u = b, x u 0 0 v v v Her er u = u j ) j J J, v = v i ) i I, [J J ]c er J J rækkerne i c, E I [I ] er I -søjlerne i I I enhedsmatricen E I, og A[J J ] er J J søjlerne i A Eksempel 56 Det kanoniske program associeret til P) fra Eksempel 11 er Max ) x 2 x 3 under bibetingelser u 3 v 1 x ) x 1 x 2 x 3 u 3 v 1 = 3 4), x 1 x 2 x 3 u 3 v 1 0 Ingen basisløsninger til det kanoniske program benytter 0 eller 1 søjle i matricen Der er 4 basisløsninger som benytter 2 søjler: x t = 6 7, 11 7, 0, 0, 0) med ct x = 61 7 x t = 4, 0, 0, 0, 11) med c t x = 4 x t = 0, 1, 0, 2, 0) med c t x = 9 x t = 0, 0, 0, 4, 3) med c t x = 8 Forudsat at vi ved at der er optimale løsninger til det kanoniske program, så er x t = 0, 1, 0, 2, 0) med c t x = 9 en optimal basisløsning En optimal løsning til det oprindelige, generelle lineære program er så x t = 0, 1, 2) med samme optimale værdi, 9 6 Standard programmer I et standard minimeringsprogram er alle bibetingelser givet ved uligheder og der er et fortegnskrav på alle variable Det betyder at I = I og J = J Definition 61 Et lineært standard maksimeringsprogram har formen og det duale minimeringsprogram er P) Maksimér c t x under bibetingelser Ax b, x 0 P ) Minimér y t b under bibetingelser y t A c t, y t 0 I standard programmets tableau x 1 x j x n b y 1 a 11 a 1j a 1n b 1 y i a i1 a ij a in b i y m a m1 a mj a mn b m c c 1 c j c n er der stjerner på alle variable x j ) og y i ) da de alle skal være 0 Rækkerne i tableauet viser de primale bibetingelser og søjlerne viser de duale bibetingelser Eksempel 62 Her er et eksempel på et program på standardform P) Maksimér x 1 2x 2 3x 3 x 4 under bibetingelser x 1 x 2 2x 3 x 4 4 2x 1 + x 3 4x 4 2 2x 1 + x 2 + x 4 1 x 1 0, x 2 0, x 3 0, x 4 0, Ethvert generelt lineært program kan omformuleres til et standard program ved at erstatte de ubegrænsede variable [J J ]x med [J J ]x [J J ]u og forlange [J J ]x 0, [J J ]u 0