Københavns Universitet, Det naturvidenskabelige Fakultet. DATALOGI V - Introduktion til Scientific Computing. Ugeseddel 3

Transkript

1 Københavns Universitet, Det naturvidenskabelige Fakultet DATALOGI V - Introduktion til Scientific Computing Ugeseddel 3 Meddelelser: Bemærk venligst, at jeg den 23/2 starter med at forelæse over ca. 25 sider i lærebogen Methods for Non-Linear Least Squares Problems fra IMM, DTU, og at den kan hentes via kursus-hjemmesiden. Forelæsninger: Tirsdag den 20. februar, kl i Aud.5 (HCØ), og Tirsdag den 20. februar, kl i Aud.5 (HCØ): Emner: Løsningsmetoder til at finde een løsning til een ikke-lineær ligning med een ubekendt, herunder indkredsningsmetoder. Konvergensordenen p, iterationsomkostningen θ og effektivitets-indekset θ 1/p. Kombination af langsomme sikre og hurtige usikre metoder. Kaj Madsens rodsøgningsmetode. Iterative metoder til løsning af Ax = b, når A er sparse og ikke kan omordnes til noget, der sikrer få fill-in s ved faktorisering: Jacobi, Gauss- Seidel, SOR, og (hvis A er symm., pos.def.:) Konjugerede-gradient-metoden. Løsningsmetoden til n ikke-lineære ligninger med n ubekendte, når man har et godt gæt på løsningen: Newton, og dens discount-udgaver. Niveau-mængder, partielle afledede, gradient, descent-retninger, stationært/kritisk punkt, Jakobi-matrix, Hessian-matrix, positiv/negativ/indefinithed og singularitet, nødvendige og tilstrækkelige betingelser for et minimums-/maksimums-/saddel-punkt, når der ingen bibetingelser er. Ingen tilladte descent-retninger (Karush-)Kuhn-Tucker-Betingelserne saddelpunkt i Lagrange-funktionen det duale problem. Nelder & Mead s simpleks-metode. Liniesøgning, gyldent snit søgning, parabolsk interpolation, Steepest Descent, Konjugerede(?) Gradient-metoden, Sekant-opdaterings-/Kvasi-Newton-metoden BFGS.

2 Litteratur: Heath, afsnit 5.3, 5.5, 5.8 Forelæsningsnote 7. Forelæsningsnote 8. Heath, afsnit 6.1, 6.2 og 6.3. (I afsnit 6.2 behøver man dog ikke læse afsnittet If the Hessian.. før Example 6.6, samt den sidste halvdel af eksemplet, startende med To confirm.. ) Forelæsningsnote 9. Heath, afsnit 6.4 og 6.5. Forelæsningsnote 10 & IMM-DTU-lærebog afsnit 3.1 og 3.2. Fredag den 23. februar, kl i Aud.5 (HCØ): Emner: De 3 generelle og de 3 specielle optimerings-metoder i optdemo.m, Retningsmetoden Gauss-Newton, Marquardt s metode, Powell s DogLeg-metode til løsning af ikke-lineære ligningssystemer, Kaj Madsen s KMHybrid.m til ikke-lineære mindste kvadraters problemer. Eksakt eller soft liniesøgning. Litteratur: IMM-DTU-lærebog afsnit 3.3, 3.4 og 3.5. Øvelser i uge 8 Tirsdag den 20. februar kl i Aud.7 (HCØ): Teoretiske Opgaver: 1) Løs ligningssystemet [ ] [ x1 x 2 ] = [ 0 3 via Konjugerede-gradient-metoden (Algoritme 11.1) og se det, som skulle være det væsentligste ifølge de sidste fire linier i Forelæsningsnote 5. Tips: Løsningen er (1, 2) T, og niveau-kurverne for φ(x) = 1 2 xt Ax x T b er beskrevet i Forelæsningsnote 5. 2) Argumentér for, at hvis man laver symmetrisk omordning af en symmetrisk matrix A, dvs. omordner rækker ligesom søjler og dermed ændrer den til P A P T, hvor P er en permutationsmatrix, så ødelægger man hverken symmetri eller eventuel positiv definithed. 3) En iterativ metode med høj konvergens-orden (convergence rate) skal blot benytte få iterationer til at konvergere, når/hvis den får færten af løsningen. Hver iteration kan dog koste flere beregninger end en anden metode med lavere konvergens-hastighed, og dermed kan den første metode faktisk vise sig at være den langsomste! Dette har fået nogle til ]

3 at definere metoders såkaldte Effektivitets index = (konvergensorden) 1/(beregninger pr. iteration). Vis, at Sekant-metoden er mere effektiv til at løse f(x)=0 end Newton s metode, hvis beregningen af f(x) og f (x) koster mere end ca gange beregningen af f(x). Er dette tilfældet, for f.eks. f(x) = exp(x) - 7? Praktiske Opgaver: 1) Benyt MATLAB-kommandoen sprand til at lave en sparse matrix A med ca. 4 procent ikke-nulelementer. Find L-,U- og P-faktorerne via lu (og evt. help lu ). Lad B være A med omordnede søjler, dvs. B = A(:, colamd(a)), og lav et subplot, hvor mængden af fill s ved LU-faktorisering af B sammenholdes med mængden af fill s ved faktorisering af A. (Tip: spy ) 2) Polynomiet p(x) = x 7 7x x 5 35x x 3 21x 2 + 7x 1 har 7 reelle rødder, der alle er lig med 1. Hvilke rødder finder MATLABrutinen roots? Fplot p(x) for < x < og forklar eventuelle unøjagtigheder. Vil man forvente, at Bisektion i praksis konvergerer mod x = 1.000? 3) Hent filen zeroin.f i go-pakken i NetLib og læs koden. Hvilke tre basale metoder består Brent s Metode af? Hvilke af dem garanterer konvergens mod en lille f(x) -værdi? 4) MATLAB c -opgaverne 1, 2, 10, 6, 7, 5, 3, 4 og 9 fra Laboratorieopgave 1, 2004.

4 Fredag den 23. februar kl i A104 (HCØ): Ikke-obligatorisk Afleveringsopgave: Opgave 2 til den skriftlige eksamen (Evt. besvarelse afleveres til øvelserne og vil da returneres indeholdende instruktorens bedømmelse!) Opgave 1: Review Questions 6.1, 6.11, 6.13, 6.20, Teoretiske Opgaver: 1) Exercise 6.5. Tip: Man kan undersøge Hessian-matricen via MATLAB s eig, men man kan også benytte LU-faktorisering(!): Hvis en symmetrisk matrix H er positiv definit, vil en LU-faktorisering uden pivotering give en U-matrix med ene positive diagonal-elementer. negativ definit, vil en LU-faktorisering uden pivotering give en U-matrix med ene negative diagonal-elementer. singulær, vil en LU-faktorisering med pivotering give en U-matrix med mindst eet 0 i U s diagonal. Opfylder H ingen af disse betingelser, er den indefinit. 2) Exercise 6.6 a) - c), idet der dog kun findes de stationære ( critical ) punkter! 3) Vis, at det duale problem til min 8x 1 19x 2 7x 3 u.b.b. 3x 1 + 4x 2 + x x 1 + 3x 2 + 3x x 1 0, x 2 0, x 3 0 er max 25µ 1 50µ 2 u.b.b. 8 3µ 1 µ µ 1 3µ µ 1 3µ 2 0 µ 1 0, µ 2 0 og løs sidstnævnte problem via en tegning i et koordinat-system. Praktiske Opgaver: Se næste side!

5 Praktiske Opgaver: 1) Det amerikanske National Institute of Standards and Technology (NIST) har lavet en Internet-guide GAMS ( ), som dels henviser til beregnings-software, og dels benytter en kategorisering af problem-typer, som også kan benyttes til at søge problem-specifik software i NetLib! a) Prøv at benytte GAMS s problem decision tree til at finde kategoribetegnelsen G1... for software som benytter gradienter til minimering af glatte (dvs. differentiable) funktioner af flere variable uden bibetingelser. b) Når vi ser bort fra henvisninger til NetLib-software, er der da GAMS-henvisninger til andet frit tilgængeligt software i denne kategori? c) Findes der frit tilgængeligt software baseret på konjugerede gradienter og på sekant-opdateringsmetoder (kaldes også variabel metrik metoder )? d) Gå ind i NEOS-guiden ( ). Den henviser også til optimerings-software, men desværre er meget af dette kommercielt. Derimod har den et Optimization Tree, som illustrerer de forskellige typer af optimeringsproblemer. Find konkrete eksempler på mindst 3 forskellige typer af optimeringsproblemer under Case Studies på guiden s forside. 2) MATLAB c -opgaverne 1, 2, 10, 6, 7, 5, 3, 4 og 9 fra Laboratorieopgave 1, 2004.