Note om interior point metoder

Transkript

1 MØK 2016, Operationsanalyse Interior point algoritmer, side 1 Note om interior point metoder Som det er nævnt i bogen, var simplex-metoden til løsning af LP-algoritmer nærmest enerådende i de første 50 år efter sin fremkomst, andre algoritmer kom kun på tale for særlige problemer. I 70erne var begyndt at interessere sig for beregningskompleksitet meget simpelt kan kompleksiteten ved den tid, en computer vil være om at løse et problem ved brug af algoritmen og det viste sig i løbet af 80erne, at i visse skræktilfælde kunne det tage meget lang tid; faktisk var der en helt anden metode ellipsoid-metoden nævnt i bogen, som kan løse problemet på en tid proportionalt med n 6, hvor n er antal søjler i koefficientmatricen A. På den anden side var ellipsoid-metoden ikke særlig hurtig i sædvanlige problemer, så simplex hold stand i praksis. Det ændrede sig imidlertid med fremkomsten af de såkaldte interior point algoritmer, hvor Karmarkars fra 1984 var den første. Der er senere blevet arbejdet mere med disse metoder, så at man idag kan skelne mellem flere forskellige. Her vil vi se nærmere på en af disse, en såkaldt path-following algoritme, som er interessant fordi den involverer både det primære og det duale problem, og som samtidig har pæne egenskaber i praksis. Vi starter med et par af LP problemer, hvor det primære har bibetingelser givet ved lighedstegn. I den situation er der ingen fortegnsrestriktioner på variablene i det duale problem. Da vi også gerne vil have lighedstegn i det duale problem, bruger vi slackvariable z 1,..., z m (der skal være ikke-negative), og vi har dermed de to LP problemer max ubb c x Ax = b x 0 min ubb y b ya z = c z 0 (1) Vores metode har følgende bestanddele, som alle er generelle metoder til brug ved optimeringr: (1) Brug af Lagrange metoden til at omforme optimering med bibetingelser til optimering uden bibetingelser (håndtere bibetingelser) (2) Brug af passende valgte ( barrier -)funktioner til at holde sig væk indenfor området hvor alle x og z er positive (håndtere ikke-negativitet) (3) Løsning af ligningssystemer (ikke nødvendigvis lineære) ved Newton s metode. I algoritmen får man en følge af problemer uden bibetingelser, og med passende valg af barrierfunktioner vil løsningerne af disse problemer gå mod en optimal løsning. Det lyder kompliceret, men er knap så indviklet som det lyder. Her kommer der lidt flere detaljer:

2 MØK 2016, Operationsanalyse Interior point algoritmer, side 2 1. Lagrange metoden. Dette er det velkendte optimeringsprincip for maximering af en funktion f (x) under bibetingelser g i (x) = 0, i = 1,..., m. Man opstiller Lagrange-funktionen L(x, λ) = f (x) λ i g i (x), og man har da at nødvendige betingelsr for et optimum (max eller min) er at de afledede er 0, dvs. L = 0 for j = 1,..., n og F = 0 for i = 1,..., n. Hvis bibetingelserne er lineære og f x j λ i er konkav (for maximering) eller konveks (minimering), er betingelserne også tilstrækkelige. 2. Barrier metoden. Her ønsker vi at holde os væk fra løsninger, der ikke opfylder ikkenegativitetsbetingelserne i (1). Det kan vi opnå ved at tilføje en funktion, der får meget store negative værdier, når vi er tæt på 0, så at vi i vores søgen efter et optimum ikke bevæger os den vej. Det har bare den ulempe, at vi forhindrer os selv i at nå optimum, hvis dette faktisk involverer at en eller flere variable er 0, hvad de faktisk ofte vil være i LP problemer. Derfor tilføjer man en parameter, der så ændres undervejs i algoritmen, så at man balancerer den logaritmiske straf-del med den faktiske kriterieværdi. Vores oprindelige par er så omformet til max c x + µ n log(x j ) min y b µ n log(z j ) (2) ubb Ax = b ubb ya z = c Vi bruger Lagrange metoden på dette problem hvor bibetingelserne stadig er lineære men kriteriefunktionerne ikke mere er lineære men dog konkave resp. konvekse, så førsteordensbetingelserne er både nødvendige og tilstrækkelige. Vi bruger først, at vi allerede kender Lagrangemultiplikatorerne til det primære problem det er nemlig de duale variable y så Lagrangefunktionen bliver L P = c x + µ log(x j ) y(ax b) og når de afledede mht. x j skal være 0, får vi ligningen c j a i j y j + µ = 0, x j som ved brug af definitionen af z j reducerer til z j + µ x j = 0 eller z j x j = µ, j = 1,..., n. (3) Man kan fortolke (3) som µ-komplementær slackness hvis µ = 0 skulle enten x j eller den duale z j være 0 for hvert j, her skal de bare være lig µ.

3 MØK 2016, Operationsanalyse Interior point algoritmer, side 3 Tager vi de afledede med hensyn til y i, får vi bare betingelsen a i j x j = b j, j = 1,..., n, (4) som vi kendte i forvejen, og tilsvarende får vi ved at differentiere i Lagrange-funktionen for det duale problem i (2), L D = y b µ log(z j ) (ya z c)x, mht. x j og sætte lig nul, at vi skal have opfyldt bibetingelserne i det duale problem, dvs. a i j y i z j = c j, j = 1,..., n. (5) Hele ligningssystemet (3)-(5) kan skrives kort på matrixform ved brug af diagonalmatricerne X (som har vektoren x i diagonalen (og 0 udenfor) og Z med z j, j = 1,..., n, i diagonalen, samt vektoren e bestående af n 1-taller, så har vi nemlig Brugbarhed i det primære problem: Ax b = 0, Brugbarhed i det duale problem: ya z c = 0 µ-komplementær slackness XZe µe = 0, (6) ialt m+n+n ligninger, hvoraf de sidste n ikke er lineære. Vi skal så løse dette ligningssystem, og det er her, at Newton kommer ind i billedet. 3. Newton s metode. Hvis f : R R er en C 1 funktion (differentiabel med kontinuerte partielle afledede), kan man bruge sammenhængen f (x k+1 ) = f (x k ) + f (x k ), (7) hvor er en (lille) interval, som vi giver x i punktet x k (der bare er 1. ordens Taylor udvikling af f i x k ) til iterativt at finde et nulpunkt for f. Hvis vi sætter x k+1 = 0, får vi = f (xk ) f (x k ) og når vi flytter os i overensstemmelse hermed, har vi et første skud på nulpunktet. Da (7) jo er en tilnærmelse, har vi nok ikke ramt plet, men så fortsætter vi bare derfra. Hvis man starter ikke altfor langt væk fra rnulpunktet, vil følgen (x k ) k=1 faktisk gå mod dette nulpunkt. Hvis vi har at gøre med en funktion F : R d R, generaliserer Newton metoden til, at vi

4 MØK 2016, Operationsanalyse Interior point algoritmer, side 4 skal bruge sammenhængen F(x k+1 ) = F(x k ) + DF x k (8) hvor DF x k er matricen af partielle afledede af F 1,..., F d mht. x 1,..., x d (Jacobi-matricen), F 1 x 1 DF xk =. F d x 1 F 1 x d., F d x d taget i punktet x k, og er en vektor, som angiver en flytning fra x k. Hvis vi som før sætter F(x k+1 ) til 0 og løser, får vi DF 1 x k = F(x k ) (9) eller = DF 1 x k F(x k ). Igen kan det vises, at følgen af x k vil konvergere mod et nulpunkt. Vi bruger nu Newton på ligningssystemet i (6), hvor vi har 2n + m ligninger og variable (x, y, z). Vi starter i et punkt (x 0, y 0, z 0 ) med x 0 > 0 og z > 0, og vi indfører betegnelserne δ P, δ D og δ S for værdien af venstresiderne i (6) i dette startpunkt, dvs. vektoren (δ P, δ D, δ S angiver, hvor meget man går galt i at opfylde brugbarhedsbetingelserne i det primære og duale problem samt slackness-betingelsen. Det er ikke så svært at finde Jacobi-matricen, og vi har at (9) får formen A 0 0 d x δ P 0 A T I d y = δ D. (10) Z 0 X Vektoren (d x, d y, d z ) kaldes Newton retningen, og den findes ved at man løser (10). Det kan (forholdsvis let) vises, at løsningen kan skrives som d y = (AZ 1 XA T ) 1 ( b + µaz 1 e + AZ 1 Xδ D ) d z = δ D + A T d y d z d x = Z 1 (µe XZe Xd z ) så at man successivt kan finde d y, d z og d x. Vi har dermed fundet retningen, som vi skal bevæge os i, egentlig også hvor langt, men vi skal hele tiden passe på at opretholde x > 0, z > 0 (ellers kan vi ikke invertere matricerne X og z ovenfor). Derfor vælger vi en skridtlængde { x } { j z } j α P = γ min (d x ) j < 0, α D = γ min (d z ) j < 0, j (d x ) j j (d z ) j δ S

5 MØK 2016, Operationsanalyse Interior point algoritmer, side 5 hvor γ tæt på 1 (f.eks. γ = 0, 995) forhindrer at randen bliver nået. Vi har så et nyt punkt (x 1, y 1, z 1 ) = (x 0 + α P d x, y 0 + α D d y, z 0 + α D d z ), og dermed er vi igennem én iteration. I princippet kunne man nu fortsætte med næste iteration indtil man finder en løsning for det givne µ, og så begynder forfra med et mindre µ. Det er imidlertid nemmere at tilpasse µ undervejs. Her lader man sig inspirere af dualitetsgabet i udgangspunktet, gap(0) = y 0 b cx 0 = y 0 (Ax 0 ) (y 0 A z 0 ) T x 0 = (z 0 ) T x 0. For α den mindste af α P og α D definerer vi gap(α) = (z 0 + αd z ) T (x 0 + αd x ), og så er gap(α) < gap(0) når µ < gap(0). Hvis løbende, dvs. i k te iterationstrin, sætter n µ k = gap(αk ) n 2 = (zk ) T x k n 2 sikrer vi at dualitetsgabet formindskes i hvert trin, samtidig med at µ k går mod 0. Det kan vises, at algoritmen bruger omkring n log(ε 0 /ε) iterationer hvis den skal reducere dualitetsgabet fra ε 0 i startpunktet til ε, endda i værst mulige tilfælde. I praksis har den vist sig at være ret uafhængig af problemstørrelse, således at der bruges mellem 20 og 80 iterationer uanset n. Den besværlige del er at finde matricen AZ 1 XA T og derpå invertere den, det går omkring 90% af tiden med. Sammenlignet med simplex er algoritmen hurtigere for tilpas store problemer, både i worst case og i praksis. Men hver iteration er væsentligt mere besværlig end et pivotstep i simplex, især fordi det involverer løsning af et lineært ligningssystem. Man benytter derfor ofte genveje, så man sparer en del af dette arbejde, og der er udviklet en del algoritmer til netop det.