Statisk Optimering. Jesper Michael Møller

Transkript

1 Statisk Optimering Jesper Michael Møller Matematisk Institut, Universitetsparken 5, DK2100 København address: URL:

2

3 Indhold Kapitel 1 Ikke-lineær optimering 5 1 Hvad er ikke-lineær optimering? 5 2 Middelværdisætningen for C 1 -funktioner R R 5 3 Konvekse og konkave funktioner 5 4 Optimering uden bibetingelser 6 5 Optimering under bibetingelser givet ved ligheder 7 6 Optimering under bibetingelser givet ved uligheder 9 7 Optimering under bibetingelser givet ved ligheder og uligheder 13 8 Eksempler 14 9 Matematisk økonomiske modeller 18 Kapitel 2 Lineær optimering 23 1 Hvad er lineær optimering? 23 2 Geometrisk løsning 24 3 Generelle lineære programmer 24 4 Dualitetslemmaet 25 5 Kanoniske programmer 26 6 Standard programmer 28 7 Farkas' lemma 29 8 Dualitetssætningen 29 Kapitel 3 Ikke-lineær optimering anvendt til lineær optimering 33 1 KarushKuhnTucker versus dualitet 33 2 Optimale løsninger som saddelpunkter 34 Litteratur 35 3

4

5 KAPITEL 1 Ikke-lineær optimering 1 Hvad er ikke-lineær optimering? Ikke-lineær optimering handler om løsning af ikke-lineære optimeringsprogrammer Et ikke-lineært optimeringsprogram er et optimeringsproblem hvor det gælder om at maksimere eller minimere en objektfunktion under bibetingelser giver ved identiteter eller uligheder Problemet kaldes for ikke-lineært hvis vi ikke forudsætter at de involverede funktioner er lineære Vi antager i stedet at funktionerne er dierentiable lokalt approksimativt lineære) eller konvekse 2 Middelværdisætningen for C 1 -funktioner R R Jeg minder lige om nogle kendte facts om C 1 -funktioner R R Sætning 21 Middelværdisætningen) Lad f : [x 0, x 1 ] R være en C 1 -funktion Så er fx 1 ) fx 0 ) = f x)x 1 x 0 ) for et x mellem x 0 og x 1 Korollar 22 Monotone funktioner) Lad f : [x 0, x 1 ] R være en C 1 -funktion 1) Hvis f x) > 0 for alle x i [x 0, x 1 ] så er f strengt voksende 2) Hvis f x) < 0 for alle x i [x 0, x 1 ] så er f strengt aftagende Korollar 23 Nødvendig betingelse for lokalt ekstremum) Lad A R være et åbent interval, x et punkt i A, og f : A R en C 1 -funktion på A Så gælder f har lokalt ekstremum i x = f x ) = 0 Bevis Antag at f x ) ikke er 0, lad os sige f x ) > 0 Så er f x) > 0 i et interval [x 0, x 1 ] omkring x Dermed er f strengt voksende i [x 0, x 1 ] Funktionen f har altså ikke lokalt ekstremum i x Denne nødvendige betingelse er ikke tilstrækkelig da der ndes eksempler hvor f x ) = 0 uden at f har lokalt ekstremum i x Vi rekapitulerer nogle fakta om konvekse funktioner 3 Konvekse og konkave funktioner Definition 31 Lad A R n være en konveks delmængde En reel funktion f : A R på A er konveks hvis er en konveks delmængde af R n+1, og konkav hvis {x, y) A R y fx)} {x, y) A R y fx)} er en konveks delmængde af R n+1, dvs hvis f er konveks Lad x 0 og x 1 ligge i A Punkterne x 0, fx 0 )) og x 1, fx 1 )) ligger på grafen for f Hvis f : A R er konveks, så ligger linjestykket λ 0 x 0, fx 0 )) + λ 1 x 1, fx 1 )), λ 0, λ 1 [0, 1], λ 0 + λ 1 = 1, i den konvekse mængde {x, y) y fx)} Altså er λ 0 fx 0 ) + λ 1 fx 1 ) fλ 0 x 0 + λ 1 x 1 ) Hvis f : A R er konkav, så ligger linjestykket λ 0 x 0, fx 0 )) + λ 1 x 1, fx 1 )), λ 0, λ 1 [0, 1], λ 0 + λ 1 = 1, i den konvekse mængde {x, y) y fx)} Altså er λ 0 fx 0 ) + λ 1 fx 1 ) fλ 0 x 0 + λ 1 x 1 ) Grafen for en konveks konkav) funktion ligger altid over under) tangentplanen: Sætning 32 Lad A R n være en åben konveks delmængde og f : A R en reel C 1 -funktion på A 1) f er konveks x, y A: fy) fx) + fx) y x) 5

6 6 1 IKKE-LINEÆR OPTIMERING 2) f er konveks x A: 2 fx) er positiv semidenit hvis f er C 2 ) Tilsvarende, 1) f er konkav x, y A: fy) fx) + fx) y x) 2) f er konkav x A: 2 fx) er positiv semidenit hvis f er C 2 ) Bevis 1) Antag at f er konveks Lad x og y være punkter i A Denition 31 siger at ftx + 1 t)y) d tfx) + 1 t)fy) når 0 t 1 Anvender vi dt t=1 får vi fx) x y) fx) fy) Se [5, Sætning 461] for beviset for at den anden implikation = også gælder 2) [5, Sætning 431, 451] Sætning 33 [5, Sætning 431] Lad S være en symmetrisk n n matrix 1) S er diagonaliserbar og alle egenværdier for S er reelle 2) S er positiv denit positiv semidenit) Alle egenværdier for S er positive ikke-negative) 3) Sylvesters kriterium) S er positiv denit Alle ledende principale underdeterminanter for S er positive 4) S er positiv semidenit Alle principale underdeterminanter for S er ikke-negative En principal delmatrix fås ved at slette nogle rækker og de samme søjler fra S Der er ret mange af dem!) Sætning 34 Lad A R n være en åben konveks delmængde, x et punkt i A, og f : A R en reel C 1 -funktion på A Hvis f er konveks så gælder og hvis f er konkav så gælder x er et global minimumspunkt for f fx ) = 0 x er et global maksimumspunkt for f fx ) = 0 Bevis Antag at f er konveks og at fx ) = 0 Ifølge Sætning 321) er fx) fx ) + fx ) x x ) = fx ) for alle x A Dvs at x er et globalt minimimumspunkt for f på A Omvendt, hvis x er et globalt, eller blot lokalt, minimimumspunkt så er alle de retningsaedte 0, så gradienten fx ) = 0 hvor Vi betragter i dette afsnit optimeringsproblemet A er en delmængde af R n f er en reel funktion deneret på A Problemets mulige og optimale løsninger er MP ) = A 4 Optimering uden bibetingelser P) Maksimer f OP ) = {x MP ) fx ) fx) for alle x MP )} De optimale løsninger er de mulige løsninger som optimerer objektfunktionen Sætning 41 Nødvendig betingelse NB) Antag at A er en åben delmængde af R n og at f er en C 1 -funktion på A Hvis x OP ) er en optimal løsning til optimeringsproblemet P), så er fx ) = 0: OP ) {x MP ) fx ) = 0} Bevis Lad x MP ) være en mulig løsning Antag at gradienten fx ) ikke er 0 Så ndes en kurve ut) gennem x til tiden t = 0 sådan at dfu dt = fx ) du dt 0) 0 Altså har fu ikke lokalt ekstremum i 0 Vi kan ikke forvente at de nødvendige betingelser, som er lokale, også er tilstrækkelige For at opnå en tilstrækkelig betingelse bliver vi nødt til at stille globale krav til funktionen Feks opnår vi en tilstrækkelig betingelse ved at forlange konveksitet Sætning 42 Tilstrækkelig betingelse TB) Antag at A er en åben konveks delmængde af R n og at f er en konkav C 1 -funktion på A Hvis fx ) = 0, så er x en optimal løsning til optimeringsproblemet P): OP ) = {x MP ) fx ) = 0}

7 5 OPTIMERING UNDER BIBETINGELSER GIVET VED LIGHEDER 7 A fx) = fx ) fx ) fx) > fx ) x fx) < fx ) Maksimering uden bibetingelser fx ) 0 = x OP ) Figur 1 Optimering uden bibetingelser hvor 5 Optimering under bibetingelser givet ved ligheder Vi betragter i dette afsnit optimeringsproblemet P) Maksimer f under bibetingelserne g 1 = 0,, g m = 0 A er en delmængde af R n f og g 1,, g m er m reelle funktioner deneret på A Problemets mulige og optimale løsninger er MP ) = {x A g 1 x) = 0,, g m x) = 0} OP ) = {x MP ) fx ) fx) for alle x MP )} De mulige løsninger er de punkter i A som opfylder alle bibetingelser og de optimale løsninger er mulige løsninger som optimerer objektfunktionen Lagrange sætning er sand fordi normalplanen til løsningsmængden {gx) = 0} er udspændt af gradienterne g 1 x),, g m x) til bibetingelserne forudsat at de er lineært uafhængige) Proposition 51 Antag at x MP ) er en mulig løsning og at de m gradienter g 1 x ),, g m x ) i x for bibetingelserne er lineært uafhænigige For en vektor v i R n gælder: v er vinkelret på MP ) i x v span{ g 1 x ),, g m x )} Bevis Da de m gradienter er lineært uafhængige i R n er m n Vi viser at v er en tangent til MP ) i x v span{ g 1 x ),, g m x )}) Hvis ut) er en kurve på MP ) gennem x til tiden t = 0, u0) = x, så er g i ut) = 0 for alle t og dermed er 0 = dgiu) dt = g i x ) du dt 0) Dette viser ` = ' Implikationen ` = ' følger af Implicit Funktion Sætning Sæt g = g 1,, g m ): R n R m Skriv x R n som z, y) R n m R m Antagelsen i Propositionen er at m m)-matricen g y er invertibel Derfor ndes en lokalt deneret) funktion h: R n m R m sådan at x MP ) gx) = 0 gz, y) = 0 y = hz) x = z, hz)) hvilket siger at MP ) lokalt nær x er graf for en funktion hz) deneret på R n m Altså har MP ), dvs mængden af tangenter, dimension n m Den første inklusion er derfor en identitet Sætning 52 Lagrange nødvendig betingelse LNB) Antag at A er en åben delmængde af R n og at f og g 1,, g m er C 1 -funktioner på A Så gælder {x OP ) { g i x )} lineært uafhængige} {x MP ) fx ) span{ g i x )}}

8 8 1 IKKE-LINEÆR OPTIMERING gx ) MP ) Lagranges Sætning fx ) span gx )) = x OP ) Figur 2 LNB Bevis Lad x MP ) være en mulig løsning Antag at gradienten fx ) ikke ligger i underrummet span{ g 1 x ),, g m x )}, dvs at fx ) ikke er vinkelret på MP ) i x Der ndes da en kurve ut) på MP ) gennem x til tiden t = 0 så dfu) dt 0) = fx ) du dt 0) 0 Så har fu ikke lokalt ekstremum i 0 LNB for minimering eller maksimering) siger x er optimal og rank{ g 1 x ),, g m x )}) = m = fx ) MP ) at hvis x er en optimal løsning så er gradientent for f i x vinkelret på mængden af mulige løsninger Det betyder, at hvis x OP ) er en optimal løsning til P) og gradienterne g i x ) er lineært uafhængige, så ndes en entydigt bestemt 1 ) Lagrange multiplier u R m så x, u ) opfylder Lagrange betingelserne: 1) g i x ) = 0 for 1 i m dvs x er en mulig løsning) 2) fx ) = m u ) i g i x ) i=1 Der kan være optimale løsninger i punkter hvor bibetingelsernes gradienter ikke er lineært uafhængige som ikke opfylder Lagrange betingelserne Eksempel 53 En optimal løsning som ikke opfylder Lagrange betingelserne) P) Minimer fx 1, x 2 ) = x 1 + x 2 2 under bibetingelsen gx 1, x 2 ) = x 2 1 = 0 De mulige løsninger er MP ) = {x 1, x 2 ) x 1 = 0} og de optimale løsninger er OP ) = {0, 0)} I den optimale løsning x = 0, 0) er gradienterne f0, 0) = 1, 0) og g0, 0) = 0, 0) Punktet x er altså en optimal løsning til P) som ikke opfylder Lagrange betingelserne LNB Hvis vi lægger et konkavitetskrav på så får vi en tilstækkelig betingelse for at x løser P) Sætning 54 Lagrange tilstrækkelig betingelse LTB) Antag at A er en åben konveks delmængde af R n og at f og g 1,, g m er C 1 -funktioner på A OP ) {x MP ) u i : f u i g i er konkav og f u i g i )x ) = 0} Bevis Antagelsen er at der ndes u R m så A R: x fx) u j g jx) er en konkav funktion med x som stationært punkt, dvs globalt maksimumspunkt Sætning 32) Altså er fx) u j g j x) fx ) u j g j x ) for alle x A Men g j x) = 0 for alle x MP ) så her står at fx) fx ) for alle mulige løsninger x MP ) Altså er x en optimal løsning til maksimeringsproblemet P) LTB sagt på dansk: Hvis f u t g)x ) = 0 og f u t g er konkav, så er x en optimal løsning til P ) 1 Entydige fordi bibetingelsernes gradienter i x er lineært uafhængige

9 6 OPTIMERING UNDER BIBETINGELSER GIVET VED ULIGHEDER 9 Figur 3 Eksempel 61 hvor 6 Optimering under bibetingelser givet ved uligheder Vi betragter i dette afsnit minimeringsproblemet P) Maksimer f under bibetingelserne g 1 0,, g m 0 A er en delmængde af R n f og g 1,, g m er reelle funktioner deneret på A Problemets mulige og optimale løsninger er MP ) = {x A g 1 x) 0,, g m x) 0} OP ) = {x MP ) fx ) fx) for alle x MP )} Hvis x MP ) er en mulig løsning, siger vi at bibetingelsen g j er aktiv i x hvis g j x) = 0 og slæk i x hvis g j x) < 0 Eksempel 61 Minimeringsproblemet, illustreret i Figur 3, P) Minimer x 1 3) 2 + x 2 2) 2 under bibetingelser x 2 1 x x x 1 0 går ud på at nde den mindste cirkel med centrum i 3, 2) som skærer mængden MP ) = {x 1, x 2 ) R 2 x 2 1 x 2 3 0, x 2 1 0, x 1 0} af mulige løsninger En optimal løsning er et punkt i MP ) tættest muligt på 3, 2) Maksimeringsproblemet P) Maksimer x 1 3) 2 + x 2 2) 2 under bibetingelser x 2 1 x x x 1 0 går ud på at bestemme det punkt i MP ) der ligger længst væk fra 3, 2) Objektfunktionens gradientvektorfelt fx) stråler radialt ud fra 3, 2) KKTNB siger at hvis x er optimal så ligger objektfunctionens gradient fx ) i den positive kegle udpsændt af gradienterne for de aktive bibetingelser Man kun nu tegne sig frem til en løsning til P)

10 10 1 IKKE-LINEÆR OPTIMERING 11 Lagrange funktionen Definition 62 Funktionen p L: A R p 0 R, x, u) fx) u j g j x) = fx) u t gx) kaldes for minimeringsproblemets Lagrange funktion Definition 63 Punktet x, u ) A R p 0 er et saddelpunkt for Lagrange funktionen L hvis for alle x A og alle u 0 j=1 Lx, u) Lx, u ) Lx, u ) Vi analyserer nærmere de to ulighder i Denition 63 Lemma 64 Følgende to betingelser er ækvivalente for x, u ) A R p 0 : 1) x A 0 og fx ) = Lx, u ) 2) Lx, u) Lx, u ) for alle u 0 Bevis Vi viser at følgende betingelser er ækvivalente: 1) x A 0 og fx ) = Lx, u ) 2) g 1 x ) 0,, g m x 0 ) 0 og u j g jx ) = 0 3) u j u j )g jx ) 0 for alle u 0 4) Lx, u) Lx, u ) for alle u 0 1) 2): Klart! 2) = 3): u j u j )g jx ) = u j g j x ) 0 da u j 0 og g j x ) 0 3) = 2): Sæt u i = 1 + u i og u j = u j for j i Det giver g ix ) 0 Så er u j g jx ) 0 Sæt u = 0 Det giver u j g j x ) 0 Altså er u j g jx ) = 0 3) 4): Det er klart fordi Lx, u) Lx, u ) fx ) u j g j x ) fx ) u j g j x ) u j g j x ) u j g j x ) u j u j )g j x ) 0 for alle u 0 Lemma 65 Følgende to betingelser er ækvivalente for x, u ) A R p 0 : 1) Lx, u ) Lx, u ) for alle x A 2) Lx, u ) = sup x A Lx, u ) Bevis Klart! Korollar 66 Følgende to betingelser er ækvivalente for x, u ) A R p 0 : 1) x, u ) er et saddelpunkt for L 2) x A 0 og fx ) = Lx, u ) = sup x A Lx, u ) 12 KuhnTucker vektorer Definition 67 Vektoren u 0 er en KuhnTucker vektor for P) hvis og sup x A0 fx) < sup Lx, u ) = sup fx) x A x A 0 Sætning 68 Følgende fem betingelser er ækvivalente for x, u ) A R p 0 : 1) x er en løsning til P) og u er en KuhnTucker vektor 2) x A 0 og fx ) = sup x A0 fx) = sup x A Lx, u ) 3) x A 0 og fx ) = sup x A0 fx) = sup x A Lx, u ) = Lx, u ) 4) x A 0 og fx ) = sup x A Lx, u ) = Lx, u ) 5) x, u ) er et saddelpunkt for Lagrangefunktionen L Hvis de er opfyldt for x, u ) så er u j g jx ) = 0 for 1 j m

11 6 OPTIMERING UNDER BIBETINGELSER GIVET VED ULIGHEDER 11 Bevis Vi viser at betingelserne er ækvivalente 1) 2): Da x er en løsning til P) er x A 0 og fx ) = sup x A0 fx) og da u er en KuhnTucker vektor er sup x A0 fx) = sup x A Lx, u ) 2) = 1): Klart! 2) = 3): Vi har fx ) = sup Lx, u ) Lx, u ) fx ) x A hvor den sidste ulighed kommer af at Lx, u ) = fx ) u j g jx ) fx ) da u j 0 og g jx ) 0 Derfor er denne kæde af ulighedstegn faktisk en kæde af lighedstegn 3) = 2): Klart! 3) = 4): Klart! 4) = 3): Vi har fx ) = sup Lx, u ) sup Lx, u ) sup fx) x A x A 0 x A 0 hvor den sidste ulighed kommer af at Lx, u ) fx) når x A 0 Men så er fx ) = sup x A0 fx) 4) 5): Korollar 66 Hvis betingelserne er opfyldt for x, u ) så er fx ) = Lx, u ) = fx ) u j g j x ) og derfor er u j g jx ) = 0 Da alle led i denne sum er 0, er de alle faktisk = 0 Hvis P) har en KuhnTucker vektor u så gælder: x er en løsning til optimeringsproblemet P) x, u ) er et saddelpunkt for Lagrangefunktionen L sådan at vi stedet for at søge efter løsninger x til P) kan søge efter saddelpunkter af formen x, u ) for L 13 KarushKuhnTucker betingelserne KarushKuhnTucker sætningerne giver nødvendige og tilstrækkelige betingelser for optimalitet i P ) Hvem viste KarushKuhnTuckers sætning? Sætning 69 KarushKuhnTucker nødvendig betingelse KKTNB) [3, Theorem 127] Antag at A er en åben delmængde af R n og at f, g 1,, g m er C 1 -funktioner deneret på A Så gælder {x OP ) { g i x ) g i x ) = 0} lineært uafhængig} {x MP ) fx ) cone{ g i x ) g i x ) = 0})} KKTTB sagt på dansk: Hvis x MP ) er en optimal løsning til programmet P ) og gradienterne i x for de aktive bibetingelser i x er lineært uafhængige, så vil der ndes en entydigt bestemt) vektor u R m sådan at x, u) opfylder KarushKuhnTucker betingelserne: u 1 0,, u m 0 positivitet) g 1 x ) 0,, g m x ) 0 mulig løsning) u 1 g 1 x ) = 0,, u m g m x ) = 0 komplementær slæk) fx ) = u 1 g 1 x ) + u m g m x ) optimalitet) Vi får u ved at sætte u i = 0 hvis g i ikke er aktiv i x Se Figur 4 for en begrundelse for Sætning 69 De tilstrækkelige betingelser bygger igen på konkavitet Sætning 610 KarushKuhnTucker tilstrækkelig betingelse KKTTB) [3, Theorem 128] Antag at A er en åben konveks delmængde af R n og at f, g 1,, g m er C 1 -funktioner deneret på A Så gælder OP ) {x MP ) u R m : u 0, u t gx ) = 0, f u t g)x ) = 0, f u t g er konkav} Bevis Antag at x, u ) opfylder betingelserne hvor vi har sat u i = 0 hvis g i x ) < 0) Så er Desuden er Lx, u ) = fx ) u j g j x ) = fx ) sup Lx, u ) = Lx, u ) x A fordi x Lx, u ) er en konkav C 1 -funktion med stationært punkt, derfor globalt maksimumspunkt Sætning 32), x Derfor siger 1) 4) i Sætning 68 at x en løsning og u er en KuhnTucker vektor Sagt på dansk: Hvis f, g, x, u) opfylder KarushKuhnTucker betingelserne og f u t g er konkav, så er x en optimal løsning til P )

12 12 1 IKKE-LINEÆR OPTIMERING g 2 x ) g 1 x ) g 2 x ) MP ) KarushKuhnTuckers Sætning fx ) cone g i x ) g i x ) = 0} = x OP ) Figur 4 KarushKuhnTucker nødvendige betingelser Eksempel 611 Lad f : R R være en C 1 -funktion af en variabel Problemet P ) Maksimer f under bibetingelser a x 0, x b 0 går ud på at nde maksimum for f på intervallet [a, b] = MP ) hvor a < b Gradienterne for de aktive bibetingelser er lineært uafhængige da højst en bibetingelse er aktiv i et givet punkt Hvis f har maksimum i x [a, b] så ndes u 1, u 2 R så u 1 0, u 2 0 a x b u 1 a x) = 0, u 2 x b) = 0 f x ) = u 1 + u 2 Det betyder at enten er x et indre punkt og u 1 = 0, u 2 = 0) med f x ) = 0 eller x = a er det venstre endepunkt og u 2 = 0) og f a) 0 eller x = b er det højre endepunkt og u 1 = 0) og f b) 0 Eksempel 612 I dette eksempel er KKTNB opfyldt i x, men x er ikke et optimalt punkt fx ) MP ) Punktet x er ikke engang lokalt optimalt Her er g 1 x 1, x 2 ) = x 2 x 3 1, fx 1, x 2 ) = x 2, og x = 0, 0) Bemærkning 613 Minimeringsproblemet) P) Minimer f under bibetingelserne g 1 0,, g m 0

13 7 OPTIMERING UNDER BIBETINGELSER GIVET VED LIGHEDER OG ULIGHEDER 13 h 1 x ) Generel KarushKuhnTucker x OP ) = fx ) cone{ g i x ) g i x ) = 0} + span{ h k x )} g 1 = 0 g 1 x ) h 1 = 0 MP ) h 1 x ) fx ) = u 1 gx ) + v 1 h 1 x ) Figur 5 KKTNB løses ved at maksimere f under bibetingelserne g 1 0,, g m 0 Hvis gradienterne for de aktive bibetingelser i x er lineært uafhængige og x er en løsning til maksimeringsproblemet, så ndes ifølge Sætning 69 en vektor u R m så x, u) opfylder KarushKuhnTucker betingelserne 1) u 0 positivitet) 2) gx ) 0 mulig løsning) 3) u t gx ) = 0 komplementær slæk) 4) f + u t gx )) = 0 optimalitet) Og hvis x, u) opfylder ovenstående betingelser og A R: x fx) + u t gx) er konveks så er x en løsning til minimeringsproblemet hvor 7 Optimering under bibetingelser givet ved ligheder og uligheder Vi betragter i dette afsnit minimeringsproblemet P) Maksimer f under bibetingelserne g i x) b i for i I og g i x) = b i for i I I A er en åben delmængde af R n ; I er en delmængde af I = {1,, m} f, g i, i I, er deneret på A; De mulige løsninger er de punkter i A som opfylder alle bibetingelser MP ) = {x A g i x) b i, i I, g i x) = b i, i I } Definition 71 Punktet x A er en optimal løsning til P) hvis x MP ) og fx) fx ) for alle x MP ) Sætning 72 KarushKuhnTucker nødvendig betingelse KKTNB) [3, Theorem 129] Antag at A er en åben delmængde af R n og at f, g 1,, g m er C 1 -funktioner deneret på A Antag at x MP ) være en optimal løsning til programmet P ) og at gradienterne i x for de aktive bibetingelser { g i x ) g i x ) = 0, 1 i m} er lineært uafhængige Så ndes en vektor u R m sådan at x, u) opfylder KarushKuhnTucker betingelserne 1) u i 0 for alle i I ; 2) g i x ) b i for i I og g i x ) = b i for i I ; 3) u i g i x ) b i ) = 0 for alle i I komplementær slæk) 4) fx ) = u i g i x ) optimalitet) i I Sætning 73 KarushKuhnTucker tilstrækkelig betingelse KKTTB) Hvis A er konveks betingelserne fra Sætning 72 er opfyldt

14 14 1 IKKE-LINEÆR OPTIMERING x fx) u t gx) er konkav så er x optimal Eksempel 81 Lagrange sætning 52) 8 Eksempler P) Maksimer fx 1, x 2 ) = x 2 under bibetingelsen gx 1, x 2 ) = 1 4 x x OP ) = {0, 3)} ifølge LNB og LTB Vi har så LNB giver at OP ) = {x 1, x 2 ) OP ) f = 0 1), g = ) 1 x x 2 ) 1 x x 0} {x 1, x 2 ) MP ) u: 2 0 = u 1) ) 1 x x } 2 så vi ser at en optimal løsning må have x 1 = 0 Da f 3 2 g er konkav og f 3 2g)0, 3) = 0 er 0, 3) den optimale løsning til maksimeringsproblemet P) Eksempel 82 Lagrange sætning 52) P) Maksimer x x x 2 3 under bibetingelserne x2 1 + x x 2 3 = 1, x 1 + 3x 2 + 2x 3 = 1 De mulige løsninger MP ) = {x 2 1 +x x 2 3 = 1, x 1 +3x 2 +2x 3 = 1} er kompakt, så den kontinuerte bjektfunktion fx 1, x 2, x 3 ) = x x x 2 3 har både et maksimum og et minimum på MP ) Gradienterne g 1 = 2x 1 1 2x 2, g 2 = 3 8x 3 2 er lineært uafhængige i planen {x 1, x 2, x 3 ) x 1 +3x 2 +2x 3 = 1} og specielt også i hele MP ) Lagrange betingelserne er altså opfyldt i de to ekstremumspunkter ifølge Lagrange sætning 52 Lagrange betingelserne 1) x x x 2 3 = 1, x 1 + 2x 2 + 3x 3 = 1 2) 2x 1 2x 2 u 1 2x 1 2x 2 u = 0 0 2x 3 8x har to løsninger, 3 x 1, x 2, x 3, u 1, u 2 ) =, 1, 0, 1, 0), x 1, x 2, x 3, u 1, u 2 ) = 1 5 ζ, 3 7 ζ, ζ, 5 22, ζ), ζ = 22 som må være maksimum f = 1) og minimum f = ) af f på MP ) Eksempel 83 [5, Eksempel 2, p 261] P) Maksimer x 2 + 2y under bibetingelserne x 2 + y 2 5, y 0 Den kontinuerte objektfunktion fx, y) = x 2 + 2y har både et maksimum og et minimum på den kompakte mængde MP ) = {x 2 + y 2 5, y 0} Figur 6 viser at gradienterne for de aktive bibetingelser er lineært uafhængige i alle punkter i MP ) KKTNB siger at for enhver optimal løsning, x, ndes u, v R så 1) u 0, v 0 2) x 2 + y 2 5, y 0 3) ux 2 + y 2 5) = 0, vy = 0 4) 2x 2 ) u 2x 2y ) v 0 1 ) = ) 0 0 Da der er 2 bibetingelser kan analysen deles ind i 2 2 = 4 tilfælde: Ingen bibetingelser er aktive, netop en bibetingelse er aktiv, begge bibetinngelser er aktive I dette tilfælde nde vi at KKt-betingelserne har de tre løsninger x, y, u, v) = ±2, 1, 1, 0), 0, 5, 1/ 5, 0) Da x, y) fx, y) g 1 x, y) = x 2 + 2y x 2 + y 2 5) = y 2 + 2y 5 er konkav en sur parabel) er x, y) = ±2, 1) globale minimumspunkter med værdi fx, y) = 6

15 8 EKSEMPLER 15 y MP ) fx, y) = x 2 + 2y fx, y) = 2x, 2) x Figur 6 Eksempel 83 Eksempel 84 De nødvendige KarushKuhnTucker betingelser er ikke tilstrækkelige) P) Minimer 2x x 2 under bibetingelserne x 0, x 3 Da fx) = 2x x 2 er en sur parabel er minimumspunktet et af endepunkterne for intervallet [0, 3] Da f0) = 1 og f3) = 3 er det faktisk x = 3 som er løsningen til P) KarushKuhnTucker betingelserne 1) u 1 0, u 2 0 2) 0 x 3 3) u 1 x = 0, u 2 x 3) = 0 4) 2 2x u 1 + u 2 = 0 er opfyldt for x, u 1, u 2 ) = 1, 0, 0), 0, 2, 0), 3, 0, 4) Men det er altså kun det sidste der er et minimumspunkt Det første er et lokalt minimum og det andet er et maksimumspunkt) Eksempel 85 De nødvendige KarushKuhnTucker betingelser er ikke tilstrækkelige) KarushKuhnTucker betingelserne 1) u 0 2) x 1 3) ux 1) = 0 4) 2x 2y ) + u 1 0 ) = P) Minimer x 2 + y 2 ) under bibetingelsen x 1 0 ) 0 0 er opfyldt for x, y, u) = 0, 0, 0) og x, y, u) = 1, 0, 2) Ingen af dem er løsninger til P) for P) har ingen løsninger da objektfunktionen x 2 + y 2 ) ikke er nedad begrænset på MP ) = {x, y) x 1} Det havde straks gået meget bedre hvis vi havde forsøgt at minimere f = x 2 + y 2 Eksempel 86 Eksamen 07/08 Opg 3) Lad Q være en kvadratisk positiv semidenit n n)-matrix, A en m n)-matrix og b R m, c R n vektorer Betragt det konvekse kvadratiske optimeringsproblem P) Minimer c x xt Qx under bibetingelserne Ax b KarushKuhnTucker betingelserne er 1) u 0 2) Ax b 3) u Ax b) = 0 4) c + Qx + A t u = 0 Ifølge Sætning 69 og Sætning 610 er x en løsning til P) hvis og kun hvis der ndes u så x, u ) opfylder KarushKuhnTucker betingelserne

16 16 1 IKKE-LINEÆR OPTIMERING y g 2 g 1 g 2 g 1 g 2 g 2 MP ) g 1 g 2 g1 g 1 g 1 fx, y) = 1 2 x y fx, y) = 1 2, 1) x Figur 7 Eksempel 87 Eksempel 87 Konveks optimering) [5, Eksempel 1, p 260] P) Maksimer 1 2 x y under bibetingelserne x + e x y 0, x 0 Bibetingelsernes gradienter er altid lineært uafhængige KarushKuhnTucker betingelserne er 1) u 0, v 0 2) x + e x y, x 0 3) ux + e x y) = 0, vx = 0 4) 1/2 1 ) u 1 e x 1 ) v 1 0 ) 0 = 0) Figur 7 viser at det eneste punkt som opfylder betingelserne er x, y, u, v) = ln2), ln2) + 1 2, 1, 0) Det følger også af betingelserne: Fra 4) får vi u = 1 så x, y) ligger på grafen for x + e x Hvis x > 0 er v = 0 så e x ) = 0 og x = ln2)) Da fx, y) g 1 x, y) = 1 2 x exp x) er konkav er x, y) = ln2), ln2) ) faktisk en optimal løsning til P) Eksempel 88 Lagrange multiplikatorer er skyggepriser for bibetingelser) I maksimeringsproblemet Pb)) Maximer f under bibetingelser g 1 = b 1,, g m = b m afhænger bibetingelserne af de exogene) variable b = b 1,, b m ) Hvad sker der med de optimale løsninger når den exogene variable b ændres? Lagrangebetingelserne for optimeringsproblemerne Pb) er F x, u, b) = 0 hvor F : R n R m R m R m R n er funktionen Vi kan derfor sige g 1 x) b 1 ) gx) b F x, u, b) = f ) g m x) b m = ) u j g j x) x f uj g j x) = 1 ) x f uj g j x) n x, u) opfylder LNB for Pb) F x, u, b) = 0 gx) b f u t g ) x) Kan vi nde x, u) = xb), ub)) i disse ligninger som en funktion af de exogene variable b? Ja, det kan vi ifølge Implicit Funktion Sætning forudsat at Jacobi matricen for F efter de endogene variable x, u) er invertibel Vi vil da have 89) F x, u) ) x u + F b b = 0 eller ) x u b b) = F x, u) x, u, b) 1 F ) b x, u, b)

17 8 EKSEMPLER 17 hvor ) x u = b x b u b De partielle aedte efter de endogene variable x, u) 810) F x,u) = g b f u t g ) 1 A x,u) = g 1 x 1 b 1 ) x n = b 1 u 1 b 1 u m b 1 x 1 g m x 1 ) 2 x 1 x 1 f uj g j ) 2 x 1 x n f uj g j x 1 b n x n b n u 1 b n u m b n g 1 x 0 0 n g m x 0 0 n g1 x gn 1 x 1 g1 x gn n x n 2 x n x 1 f uj g j ) 2 x n x n f uj g j ) er en kvadratisk n + m) n + m) matrix De partielle aedte efter de exogene variable b ) F 811) b = E Em m+n[1, m] = 0 n,m = g x 0 g x )t H f u t g ) er 1 gange de m første søjler i m + n) m + n) enhedsmatricen E m+n I dette tilfælde giver ligningerne 89), hvis vi indsætter udtrykkene fra 810) og 811), at ) ) som giver at g x 0 H f u t g ) g x x b = E m, og at m + n) m matricen x u) ) 1 F = b x,u) Em+n [1, m]) = g x )t x b u b = ) Em 0 n,m H f u t g ) x ) t b = g u x b F x,u) ) 1 [1, m] = er de m første søjler i den inverse af m + n) m + n)-matricen ) 1 F x,u) g x 0 g x )t H f u t g ) ) 1 [1, m] Hvordan afhænger den optimale løsning x b), u b)) af de exogene variable b?: x ) ) x b + b) x u ) ) 1 b) u) x b + b) u + b = g b) b) b u + x 0 b) H f u t g ) [1, m] b er en approximativ løsning til Lagrangeligningerne Hvordan ændres fx b)) når b ændres?: g x )t fx b + b)) fx b)) + fxb)) b = fx b)) + u t b b )

18 18 1 IKKE-LINEÆR OPTIMERING fordi fxb)) b = f x x b = m j=1 u j g j x x m b = da Lagrangebetingelsen f x = g u j j x j=1 u j [j] g x x u m b = 0 u u j [j]e m = 2 j=1 0 0 u m er opfyldt I denne formel står [j]a for række j i matrix A) Den økonomiske tolkning er at formlen for x b + b), u b + b)) beskriver hvordan det optimale produktionsmønster og Lagrangemultiplikatoren ændres ved en ændring i de exogene variable Funktionen fx b)) giver den optimale nytte opnået ved optimeret produktion under de givne ydre betingelser b Formlen for fx b + b)) beskriver ændringen i den maximale nytte under en ændring fra b til b + b i de exogene variable Lagrange multiplikatorerne u b) kaldes for bibetingelsernes skyggepriser Antag at f er en nytteværdi Vi ser at hvis en parameter b j kan øges til b j + b j for en marginal omkostning som en lavere end skyggeprisen u j så kan det betale sig at gøre det fordi nytteværdien øges med u j b j Læg mærke til at u for komparativ statistik er mere interesant end x fordi systemet af sig selv nder frem til x mens u fortæller hvordan nytteværdien ændres når de exogene variable ændres Det kan feks være et politisk ønske at ændre på fx b)) Vektoren u informerer om fx b + b)) for forskellige valg af b Den størst mulige eekt opnås ved at tage b i samme retning som u 9 Matematisk økonomiske modeller I økonomisk teori antager man at vi har opnået et maksimum og man ønsker at sige noget om hvad der der sker når de exogene variable ændres Vi antager et maksimum er blevet antaget og vi ønsker at sige noget om hvilke konsekvenser vi kan drage af det Eksempel 91 [5, Eksempel 2 p 271] Et elektricitetsværk inddeler året i n perioder Lad x j være produktionen i periode i og p i prisen for elektricitet i den periode, 1 i n Værkets kapacitet k er konstant over hele året Værkets udgifter består af driftsomkostninger Cx) = Cx 1,, x n ), som kun afhænger af produktionsmønsteret x, og kapacitetsomkostninger Dk), som kun afhænger af kapaciteten k Værkets årlige prot er og protmaksimeringsproblemet er πx, k) = p x Cx) Dk) P) Maksimer πx, k) under bibetingelserne 0 x 1 k,, 0 x n k, k 0 Der er her 2n + 1 bibetingelser, x i k 0 og x i 0 for 1 i n, og k 0 Hvis x, k) er et årligt produktionsmønster med maksimal prot så er KarushKuhnTucker betingelserne opfyldt: 1) u 1,, u n 0, v 1,, v n 0, w 0 2) 0 x i k for 1 i n, og k 0 3) u i x i k) = 0 og v i x i = 0 for 1 i n, og wk = 0 4) π x = p i C i x i x) u i v i = 0 for 1 i n, og π k = D k + n i=1 u i + w = 0 Lad os antage at produktionen x i > 0 i alle perioder og at kapaciteten k > 0 Så er w = 0 og Ligningerne siger også D k = n u i i=1 0 < x i < k = u i = 0 = v i = p i = C x i x) 0 < x i k = v i = 0 = p i = C x i x) + u i Dvs at i perioder hvor produktionen ligger under den maksimale kapacitet så dækker salgsprisen lige akkurat de marginale driftsomkostninger I en periode i med spidsbelastning overstiger salgsprisen de marginale driftsomkostninger med u i Summen af disse overskridelser over alle spidsbelastningsperioder er lig med den marginale kapacitetsomkostning Ligningen 1 i n er opfyldt når værket drives med maksimal prot p i = D k + 1 i n C x i

19 9 MATEMATISK ØKONOMISKE MODELLER 19 Eksempel 92 Fortolkning af Lagrange multiplikatoren) Lise lever af hamburgere og cola Prisen for en hamburger er p 1 og prisen for en cola er p 2 Lises indkomst er I Sæt fx 1, x 2 ) = a 1 lnx 1 )+a 2 lnx 2 ) Lises nytteværdi af x 1 hamburgere og x 2 colaer) og gx 1, x 2 ) = p 1 x 1 +p 2 x 2 prisen for x 1 hamburgere og x 2 colaer) Valget af a 1 og a 2 afspejler Lises preferencer for hamburgere eller colaer og de to konstanter kan have ændre værdier for andre forbrugere Lise er en prisbevidst forbruger og hun har derfor løst optimeringsproblemet PI)) Maksimer f under bibetingelsen g = I Gradienten for bibetingelsen g = p 1, p 2 ) er 0 Lagrange sætning siger at hvis x 1, x 2 ) er optimal så ndes en Lagrange multiplikator u R så Lagrange betingelserne 1) p 1 x 1 + p 2 x) 2 I = 0 a1 a 2 2) up 1 p 2 ) = 0 x 1 x 2 er opfyldt Det giver at 93) x 1 I) x 2 I) = ui) Ia 1 p 1a 1+a 2) Ia 2 p 2a 1+a 2) a 1+a 2 I fordi a 1 + a 2 = up 1 x 1 + up 2 x 2 = ui I denne model er den del af indkomsten der bruges på hver af de to goder p 1 x 1 = a 1 p 2 x 2, = a 2 I a 1 + a 2 I a 1 + a 2 uafhængig af I Hvordan ændres x 1I), x 2I), u I)) når I ændres?: x 1 x 1 x 2 I + I) x 2 I) + u u a 1 p 1a 1+a 2) a 2 p 2a 1+a 2) a1+a2 I 2 I = a 1+a 2 I Hvordan ændres fx I)) når I ændres?: Den maksimale nytteværdi I+ I)a 1 p 1a 1+a 2) I+ I)a 2 p 2a 1+a 2) a1+a2 I 2 I fx 1I + I), x 2I + I)) fx 1I), x 2I)) + u I, u = a 1 + a 2 I vokser med en faktor som er omvendt proportional med I Vi ser at Lagrange multiplikatoren u i dette eksempel er den marginale nytteværdi Dette er ikke tilfædigt! Se Eksempel 88) Dette ses let direkte i dette tilfælde fordi vi kender de optimale løsninger helt eksplicit 93) Vi kan derfor lave et reality check ved også at bruge metoden fra Eksempel 88: Med er p 1 p 2 0 F x 1, x 2, u) = a1 0 p x 2 1 = 1 0 a2 p x sådan at 1 F [1, 1] = x 1, x 2, u) F x 1, x 2, I, u) = p 2 1 a1+a2)2 p 1 x 1 + p 2 x 2 I a 1 x 1 up 1 a 2 x 2 up 2 p 1 p 2 0 a 1I 0 p 2 1, det F p 0 2 x 2 a1+a2)2 1, x 2, u) = p2 1p 2 2a 1 + a 2 ) 3 a 1 a 2 I 2 a 2I p 2 2 a 1 p 1a 1+a 2) a 2 p 2a 1+a 2) a1+a2 I 2, 1) i+j det A ji ) ij = deta)e Eksempel 94 Sæt fx 1, x 2 ) = a 1 lnx 1 )+a 2 lnx 2 ) hvor a 1 +a 2 = 1 og g 1 x 1, x 2 ) = 2x 1 +x 2, g 2 x 1, x 2 ) = x 1 + 2x 2 Vi forestiller os at fx 1, x 2 ) er nytteværdien og at g 1 x 1, x 2 ) og g 2 x 1, x 2 ) er forbruget af to to resurcer energi og areal) ved produktion af x 1 enheder af produkt nr 1 og x 2 enheder af produkt nr 2 Der er 300 energienheder og 450 arealenheder til rådighed for produktionen P) Maksimer f under bibetingelserne g 1 300, g 2 450

20 20 1 IKKE-LINEÆR OPTIMERING Figur 8 a 2 = 11/12 u 1 = 0, u 2 > 0), a 2 = 3/4 u 1 > 0, u 2 > 0) og a 2 = 1/3 u 1 > 0, u 2 = 0) Hvis a 2 er stor, er det en fordel at produce produkt nr 2 som kræver meget jord Derfor vil økonomiens begrænsning ligge i mængden af tilgængelig jord g 2 er aktiv) mens skyggeprisen på energi vil være u 1 = 0 da g 1 ikke er aktiv Hvis a 2 er lille, dvs a 1 er stor, er det en fordel at produce produkt nr 1 som kræver meget energi Derfor vil økonomiens begrænsning ligge i mængden af tilgængelig energi g 1 er aktiv) mens skyggeprisen på jord vil være u 2 = 0 da g 2 ikke er aktiv Hvis a 2 har en mellemværdi så er det en fordel at producere en blanding af de to produkter KarushKuhnTuckerbetingelser 1) u 1 0, u 2 0 2) 2x 1 + x 2 300, x 1 + 2x ) u 1 2x 1 + x 2 300) = 0, u 2 x 1 + 2x 2 450) = 0 4) a1 x 1 2u 1 u 2 = 0, a2 x 2 u 1 2u 2 = 0 Overvej hvad betingelse 4) betyder geometrisk på linjerne 2x 1 + x 2 = 300 og x 1 + 2x 2 = 450 og i deres skæringspunkt, 50, 200) Se Figur 8 Den økonomiske tolkning af betingelse 3) om komplementær slæk er at hvis energibetingelse g 1 er slæk, g 1 x 1, x 2 ) < 0, så er der stadig energi til rådighed og derfor er skyggeprisen på energi lig 0, dvs u 1 = 0 Ved en systematisk behandling af KarushKuhnTuckerbetingelserne må vi gå igennem de re muligheder: u 1 = 0, u 2 = 0: Begge bibetingelser inaktive Hverken energi eller jord er fuld udnyttet Det lyder ikke som et sandsynligt maksimum Her er a 1 = 0 og a 2 = 0 Umuligt u 1 = 0, u 2 > 0: Den anden bibetingelse er aktiv Jorden er er fuldt udnyttet, x 1 +2x 2 = 450 Her er a 2 8/9 stor u 1 > 0, u 2 = 0: Den første bibetingelse er aktiv Energi er fuldt udnyttet, 2x 1 + x 2 = 300 Her er a 2 2/3 lille u 1 > 0, u 2 > 0: Begge bibetingelser er aktive Både energi og jord er fuldt udnyttet Her er 2/3 < a 2 < 8/9 og x 1, x 2 ) = 50, 200) Hvis feks a 2 = 11/12 så er u 1 = 0 og u 2 > 0 Modellen siger at da u 2 > 0 er al jord er udnyttet, men der er stadig energi som ikke er udnyttet Skyggeprisen på jord er positiv, mens skyggeprisen på energi er u 1 = 0 da tilførsel af mere energi ikke vil øge objektfunktionen Eksempel 95 [5] Ved produktionsstrategi v = v 1,, v n ) 0, afsætningspris p > 0 og omkostninger q = q 1,, q n ) > 0 er protten πp, q, v) = pfv) q v, p > 0, q > 0, v 0 hvor fv) er produktionen ved strategi v Vi antager at f er en C -funktion Desuden antager vi at for ethvert reelt tal a > 0 ndes der et tal K a sådan at fv) v v < a når v > K a For givne k > 0, c > 0 og a > 0 sæt X k,c) = {p, q) R >0 R n >0 0 < p < k, c,, c) < q}, Y k,c) = R n 0 B0; K c k n )

21 9 MATEMATISK ØKONOMISKE MODELLER 21 Så har funktionen en kontinuert værdifunktion [5] Men når p, q) X k,c) er V p, q) = π : X k,c) Y k,c) R sup πp, q, v): X k,c) R v Y k,c) max πp, q, v) = sup πp, q, v) v Y k,c) For at se det, lad u 0 være en enhedsvektor Den aedte i t, hvor t > K c k, af funktionen t πp, q, tv) = n pftv) tq v, er v 0 p ftu) u q u p ftu) u c p c n k n c n c n c n = 0 Dette viser at t πp, q, tv) er aftagende når t > K c k n Da ethvert punkt p, q) R >0 R n >0 ligger i en af de åbne mængder X k,c), ser vi at værdifunktionen V : R >0 R n >0 R, V p, q) = sup πp, q, v), v 0 er veldeneret og kontinuert: Der ndes en optimal produktionsstrategi og den maksimale prot afhænger kontinuert af salgspris og omkostningspriser Det er ikke givet at den optimale produktionsstrategi er entydig eller kontinuert afhængig af priserne Eksempel 96 CobbDouglas production function Google search på nonlinear optimization

22

23 KAPITEL 2 Lineær optimering Hvad er et lineært maksimeringsprogram? Lad A være en m n matrix b en m-vektor c en n-vektor 1 Hvad er lineær optimering? Sæt I = {1,, m} og J = {1,, n} og lad I I og J J være delmængder Mængden I vil blive brugt til at indicere problemets bibetingelser, og mængden J til at indicere problemets variable x = x j ) j J Et generelt lineært program har formen P) Max c t x under bibetingelser [i]ax [i]b i I [i]ax = [i]b [j]x 0 i I j J Bibetingelser indiceret ved I er uligheder og variable indiceret ved J er positive Vi vil også skrive 1 P) Max c t x under bibetingelser [I ]Ax [I ]b, [I I ]Ax = [I I ]b, [J ]x 0 for at gøre det lidt mere kompakt En tilladt løsning eller mulig løsning til P) er en vektor x R J som opfylder alle bibetingelser Vi skriver MP ) = {x R J [I ]Ax [I ]b, [I I ]Ax = [I I ]b, [J ]x 0} for det konvekse polyeder af alle mulige løsninger til P) Den optimale værdi for P) er supp ) = sup{ax x MP )} og en optimal løsning for P) er en tilladt vektor x MP ) sådan at fx ) = supp ), dvs fx ) fx) for alle x MP ) Vi skriver OP ) = {x MP ) c t x = supp )} for mængden af optimale løsninger Eksempel 11 Her er et eksempel på et generelt lineært program P) Maksimér x 1 + 5x 2 2x 3 under bibetingelser 2x 1 + 3x 2 3 x 1 + 2x 2 x 3 = 4 x 1 0, x 2 0 hvor I = {1, 2}, I = {1}, J = {1, 2, 3}, J = {1, 2} og 1 ) c = , A =, b = Her er nogle nyttige regneregler: [i]ab) = [i]a)b og [I ]AB) = [I ]A)B AB)[j] = AB[j]) og AB)[J ] = AB[J ]) Ax = A x 1 x n = A[1] A[n] ) = j J A[j])x j = x 1 A[1] + + x n A[n] er en linearkombination i R m af de n søjler i A 1 Vi skriver [I ]A for I -rækkerne og A[J ] for J -søjlerne i A x 1 x n )

24 24 2 LINEÆR OPTIMERING Figur 1 Geometrisk løsning af LP fra Eksempel 21 y t A = [1]A ) ) y 1 y m A = y1 y m = i I y i[i]a = y 1 [1]A + + y m [m]a er en linearkombination i R n af de m rækker i A [m]a y t Ax = i I,j J y i[i]a[j]x j Vi skal se at ethvert lineært maksimeringsprogram P) har et dualt minimeringsprogram P') som i Denition 31 Teorien, som handler om dualiteten mellem det primale program P) og det duale program P'), kulminerer med Dualitetssætningen 81 Kanoniske programmer og standard programmer er specielle lineære programmer Vi vil først omtale kanoniske programmer Dernæst vil vi se på standard programmer Vi formulerer dualitet først for standard programmer og dernæst for generelle programmer Svag dualitet er en banalitet; stærk dualitet en subtilitet 2 Geometrisk løsning Løsning af et lineært program kan fortolkes geometrisk Vi skal her se et eksempel i dimension 2 hvor det er lettest at se ideen Eksempel 21 Maksimeringsproblemet går ud på at nde et punkt i mængden P) Maksimér x 1 + x 2 under bibetingelser 2x 1 x 2 3 x 2 1 x 1 0 MP ) = {x 1, x 2 ) R 2 2x 1 x 2 3 0, x 2 1, x 1 0} med størst mulig koordinatsum se Figur 1 Geometrisk kommer det ud på at parallelforskyde linjen x 1 + x 2 = 0 i retning 1, 1) lige indtil den forlader MP ) En optimal løsning er et punkt i MP ) med maximal koordinatsum 3 Generelle lineære programmer I et generelt lineært maksimeringsprogram kan der både være bibetingelser givet ved uligheder og ved ligheder og der kan både være fortegnskrav og ikke være fortegnskrav på de variable Definition 31 Et generelt lineært program har formen og det duale program er P) Maksimér c t x under bibetingelser [I ]Ax [I ]b, [I I ]Ax = [I I ]b, [J ]x 0 P') Minimér y t b under bibetingelser y t A[J ] c t [J ], y t A[J J ] = c t [J J ], y t [I ] 0

25 4 DUALITETSLEMMAET 25 I tableauet for et generelt lineært program hvor vi for nemheds skyld antager at I = {1,, i} og J = {1,, j}) markerer vi I -rækker og J -søjler med stjerner x 1 0 x j 0 x j+1 x n b y 1 0 a 11 a 1j a 1j+1 a 1n b 1 y i 0 a i1 a ij a ij+1 a in b i y i+1 a i+11 a i+1j a i+1j+1 a i+1n = b i+1 y m a m1 a mj a mj+1 a mn = b m c t c 1 c j = c j+1 = c n Rækkerne, med x j erne tilføjet, viser de primale bibetingelser og søjlerne, med y i erne tilføjet, de duale bibetingelser 4 Dualitetslemmaet Vi betragter et generelt lineært program og dets duale program som i Denition 31 Lemma 41 Dualitetslemma) Lad x MP ) og y MP ) være tilladte løsninger Så gælder: 1) c t x y t Ax y t b 2) c t y t A ) x 0, y t Ax b ) 0 3) c t y t A ) [J ][J ]x 0, y t [I ][I ] Ax b ) 0 4) c t x supp ) infp ) y t b 5) Hvis c t x y t b, så er x og y optimale løsninger, og ulighedstegnene i 1) 4) er lighedstegn Bevis Vi har at c t y t A ) x = c t y t A ) [J ][J ]x + c t y t A ) [J J ][J J ]x = c t y t A ) [J ][J ]x + 0 = c t y t A ) [J ][J ]x og y t Ax b ) = y t [I ][I ] Ax b ) + y t [I I ][I I ] Ax b ) = y t [I ][I ] Ax b ) + 0 = y t [I ][I ] Ax b ) Disse to tal er produktet af en rækkevektor 0 med en søjlevektor 0 Derfor er de 0 Det er nu klart at 1), 2) og 3) gælder 4): Alle elementer i {c t x x MP )} ligger under alle elementer i {y t b x MP )} Af generelle grunde er supp ) infp ) 5): Hvis c t x y t b, så er der lighedstegn i 4) og 1) og dermed også i 2) og 3) Situationen er supp ) infp )? c t x, x MP ) y t b, y MP ) men vi ved ikke hvor langt der er mellem supp ) og infp ) I det næste korollar leger vi med tanken om at der ikke er noget gab mellem de to optimale værdier Vi skal senere se at det er der ikke hvis ellers både det primale og det duale program har mulige løsninger) Korollar 42 Disse to betingelser er ækvivalente: 1) P) og P') har optimale løsninger og ens optimale værdier, supp ) = infp ) 2) Der ndes x MP ) og y MP ) så c t x y t b Bevis Hvis vi antager 1), så ndes x MP ), y MP ) med c t x = y t b; det er 2) Hvis vi antager 2) så er faktisk c t x = supp ) = infp ) = y t b ifølge Lemma 414) Altså er x en optimal løsning til P) og y en optimal løsning til P'), og de optimale værdier er ens Eksempel 43 Tableauet x 1 x 2 x 3 y y = = 2

26 26 2 LINEÆR OPTIMERING Maksimér c t x Ax b, x 0 Ax b Ax = b, x 0 Ax = b Minimér y t b y t A c t, y t 0 y t A = c t, y t 0 y t A c t y t A = c t Type I = I, J = J I = I, J = I =, J = J I =, J = Navn standard kanonisk Tabel 1 Liste over primale og duale programmer beskriver det programmet fra Eksempel 11 og dets duale program P) Max x 1 + 5x 2 2x 3 ub 2x 1 + 3x 2 3 x 1 + 2x 2 x 3 = 4 x 1 0, x 2 0 P') Min 3y 1 +4y 2 ub 2y 1 + y 2 1 3y 1 + 2y 2 5 y 2 = 2 y 1 0 I minimeringsprogrammet P') er y 2 = 2 P') går derfor ud på at minimere 3y 1 +8 under bibetingelserne 2y 1 1, 3y 1 1, y 1 0 Mulighedsområdet er MP ) = [1/3, 1/2], så en optimal løsning er y 1, y 2 ) = 1/3, 2) og den optimale værdi er infp ) = 9 Hvis der er en optimal løsning x 1, x 2, x 3 ) til P) med optimal værdi 9, så er x 1 + 5x 2 2x 3 = 9 2x 1 + 3x 2 = 3 x 1 + 2x 2 x 3 = 4 ifølge Dualitetslemmaet 41 da ulighedstegnene i 1) og 2) faktisk må være lighedstegn i dette tilfælde Den eneste mulighed er derfor x 1, x 2, x 3 ) = 0, 1, 2), og det er faktisk en optimal løsning til P), da det er en mulig løsning og objektfunktionen x 1 + 5x 2 2x 3 har værdien 9 = infp ) 5 Kanoniske programmer I et kanonisk maksimeringsprogram er alle bibetingelser givet ved ligheder og der er et fortegnskrav på alle variable Det betyder at I = og J = J Definition 51 Et kanonisk lineært program har formen og det duale program har formen P) Maksimér c t x under bibetingelser Ax = b, x 0 P) I et kanonisk programs tableau Minimér y t b under bibetingelser y t A c t x 1 0 x j 0 x n 0 b y 1 a 11 a 1j a 1n = b 1 y i a i1 a ij a in = b i y m a m1 a mj a mn = b m c t c 1 c j c n er der stjerner på alle primale variable x j ), da de er underlagt positivitskravet, men ingen stjerner på de duale variable y i ), da ingen bibetingelser er uligheder Definition 52 En mulig løsning x MP ) til det kanoniske program P) er en basisløsning hvis de benyttede søjler {A[j] j J, x j > 0} er lineært uafhængige Der er kun endeligt mange basisløsninger:

27 5 KANONISKE PROGRAMMER 27 1) Der er kun endeligt mange delmængder J af J så søjlerne i matricen A[J ] er lineært uafhængige; 2) For hver J J som i 1) ndes højst en vektor [J ]x > 0 med A[J ][J ]x = b Her er den geometriske tolkning som er vigtig for simplex algoritmen) Sætning 53 En mulig løsning x MP ) er en basisløsning hvis og kun hvis x er et hjørne i det konvekse polyeder MP ) En mulig løsning x MP ) er et hjørne i det konvekse polyeder MP ) hvis x ikke ligger mellem to andre punkter fra MP ) Fordelen ved kanoniske systemer er Sætning 54 Hvis P) har en optimal løsning, så har P) også en optimal basisløsning Bevis Lad x være en optimal løsning til det kanoniske maksimerings program P) Denition 51) Lad J = {j J x j > 0} være mængden af de index j J hvor x j 0 Hvis de benyttede søjler {A[j] j J } er lineært uafhængige, så er x en basisløsning og vi er færdige Antag derfor at de benyttede søjler {A[j] j J } er lineært afhængige Vælg y R n så Ay = 0, y benytter de samme søjler som x og y j > 0 for mindst et j Vi påstår at c t y = 0: Når λ er tæt ved 0, lad os sige λ < ε, så x λy en mulig løsning fordi x λy 0 og Ax λy) = Ax λay = Ax = b Men så er c t x λy) = c t x λc t y c t x dvs λc t y 0 da x er en optimal løsning Men her kan λ have begge fortegn, så det kan kun være rigtigt hvis faktisk c t y = 0 Da c t y = 0 ser vi at alle punkter af formen x λy er optimale løsninger når x λy 0, dvs x j λy j 0 for alle j Hvis y j 0 er dette OK Hvis y j > 0 og det sker for mindst et j) forlanger vi at λ xj y j Hvis vi sætter λ = min{ x j y j j J, y j > 0} så er λ > 0 og x λy er en mulig, faktisk optimal, løsning Nu er x j λy j = 0 for mindst et j J Vi har altså fundet en optimal løsning som benytter færre søjler Hvis de benyttede søjler er linerært uafhængige, er vi færdige Hvis ikke, kører vi den samme procedure igen Denne proces stopper; i hvert fald ved den tomme mængde, som er lineært uafhængig Da der kun er endeligt mange basisløsninger er løsningen af kanoniske programmer fuldstændig algoritmisk og dermed afsluttet set fra et teoretisk matematisk synspunkt Den eneste generelle løsningsmetode vi har går på at omskrive til at kanonisk program, nde alle basisløsninger, og vælge den basisløsning der maksimerer objektfunktionen Fra Sætning 54 ved vi at det er en optimal løsning Ethvert lineært program er ækvivalent med et kanonisk program Men det kanoniske program har fået ere variable og vil ofte i praksis være mere uhåndterligt end det oprindelige program Det er en af ulemperne ved kanoniske programmer En anden rent æstetisk?) ulempe er at der ikke er symmetri mellem I, I og J, J se Tabel 1) Ethvert generelt lineært program kan omformuleres til et kanonisk program ved at erstatte de ubegrænsede variable [J J ]x med [J J ]x [J J ]u og forlange [J J ]x 0, [J J ]u 0 bibetingelserne [I ]Ax [I ]b givet ved uligheder med bibetingelser [I ]Ax + [I ]v = [I ]b givet ved ligheder hvor v 0 Ved omskrivningen introduceres J J + I nye variable u j, j J J, og v i, i I, men antallet af bibetingelser er uændret Definition 55 Det kanoniske program associeret til det generelle program P) fra Denition 31 er t c x P) Max [J J ]c u under bibetingelser A A[J J ] E I [I ] ) x x u = b, u 0 0 v v v Her er u = u j ) j J J, v = v i ) i I, [J J ]c er J J rækkerne i c, E I [I ] er I -søjlerne i I I enhedsmatricen E I, og A[J J ] er J J søjlerne i A Eksempel 56 Det kanoniske program associeret til P) fra Eksempel 11 er Max ) x 2 x 3 under bibetingelser u 3 v 1 x ) x 1 x 2 x 3 u 3 v 1 ) 3 =, 4 x 1 x 2 x 3 u 3 0 v 1

28 28 2 LINEÆR OPTIMERING Ingen basisløsninger til det kanoniske program benytter 0 eller 1 søjle i matricen Der er 4 basisløsninger som benytter 2 søjler: x t = 6 7, 11 7, 0, 0, 0) med ct x = 61 7 x t = 4, 0, 0, 0, 11) med c t x = 4 x t = 0, 1, 0, 2, 0) med c t x = 9 x t = 0, 0, 0, 4, 3) med c t x = 8 Forudsat at vi ved at der er optimale løsninger til det kanoniske program, så er x t = 0, 1, 0, 2, 0) med c t x = 9 en optimal basisløsning En optimal løsning til det oprindelige, generelle lineære program er så x t = 0, 1, 2) med samme optimale værdi, 9 6 Standard programmer I et standard minimeringsprogram er alle bibetingelser givet ved uligheder og der er et fortegnskrav på alle variable Det betyder at I = I og J = J Definition 61 Et lineært standard maksimeringsprogram har formen og det duale minimeringsprogram er I standard programmets tableau P) Maksimér c t x under bibetingelser Ax b, x 0 P') Minimér y t b under bibetingelser y t A c t, y t 0 x 1 x j x n b y 1 a 11 a 1j a 1n b 1 y i a i1 a ij a in b i y m a m1 a mj a mn b m c c 1 c j c n er der stjerner på alle variable x j ) og y i ) da de alle skal være 0 Rækkerne i tableauet viser de primale bibetingelser og søjlerne viser de duale bibetingelser Eksempel 62 Her er et eksempel på et program på standardform P) Maksimer x 1 2x 2 3x 3 x 4 under bibetingelser x 1 x 2 2x 3 x 4 4 2x 1 + x 3 4x 4 2 2x 1 + x 2 + x 4 1 x 1 0, x 2 0, x 3 0, x 4 0, Ethvert generelt lineært program kan omformuleres til et standard program ved at erstatte erstatte de ubegrænsede variable [J J ]x med [J J ]x [J J ]u og forlange [J J ]x 0, [J J ]u 0 erstatte lighederne [I I ]Ax = [I I ]b med ulighederne [I I ]Ax [I I ]b, [I I ]Ax [I I ]b, eller [I I ]Ax [I I ]b, [I I ]Ax [I I ]b Ved omskrivningen introduceres J J nye variable u j, j J J, og I I nye bibetingelser Definition 63 Standard programmet associeret til det generelle program P) fra Denition 31 er ) t ) c x A A[J J ) ) ) ] x b Max [J J under bibetingelser ]c u [I I ]A [I I ]A[J J ] u [I I, ]b hvor u = u j ) j J J Eksempel 64 Standard programmet associeret til P) fra Eksempel 11 er x 1 Max ) x 2 x 3 under bibetingelser x x 2 x u 3 u , x 1 ) x 0 u x 2 x 3 0 u 3

29 8 DUALITETSSÆTNINGEN 29 b y Ax = A[1], A[2])! x 1 x 2 = A[1]x 1 + A[2]x 2 y t A = y t A[1], A[2]) = y t A[1], y t A[2]) A[2] A[1] Figur 2 Farkas lemma 7 Farkas' lemma Lad A være en m n)-matrix og b R m en m-vektor Sætning 71 Farkas lemma) Netop et af følgende to tilfælde indtræer: I) Der ndes x R n så Ax = b, x 0 II) Der ndes y R m så y t A 0, y t b < 0 I) og II) kan ikke begge indtræe for det ville give y t Ax = y t A)x 0 og y t Ax = y t Ax) = y t b < 0 Vi vil ikke bevise Farkas lemma her men bare nøjes med at se på et eksempel Eksempel 72 Lad ) ) 1 1 CA) = {x 1 + x 0 2 x 1 1 0, x 2 0} være den konvekse kegle udspændt af søjlerne i 2 2-matricen A Hvis I) ikke gælder så betyder det at b CA) Vælg en hyperplan Hy) = y sådan at CA) ligger på den positive side og b på den negative side Se Figur 2) Det betyder at y t A 0 og y t b < 0 Vi skal bruge en variation af Farkas lemma med uligheder alle steder: Korollar 73 Netop et af følgende to tilfælde indtræer: I) Der ndes x R n så Ax b, x 0 II) Der ndes y R m så y t A 0, y t b < 0, y 0 x Bevis Det første tilfælde betyder at der ndes R z) n R m sådan at Ax + z = b, Ax + z = b kan også skrives ) ) x A E = b z x 0 Ligningen z) Farkas lemma siger at hvis dette ikke sker, så ndes y R m så y t A E ) 0 og y t b < 0 Da y t A E ) = y t A y t ) betyder det at y t A 0, y t b < 0, y 0 8 Dualitetssætningen Tabel 2 viser de ni forhold som der kunne tænkes at være mellem duale programmer Dualitetssætningen siger at kun re af de ni tilfælde faktisk forekommer Sætning 81 Dualitetssætning) Lad P) og P') være duale lineære programmer som i Denition 31 Netop én af følgende re situationer vil gælde: I) P) og P') har optimale løsninger og supp ) = infp ) II) MP ), MP ) = og supp ) = III) MP ) =, MP ) og infp ) = IV) MP ) =, MP ) =