Et træ med x blade.. h lg(x) DVS. decision-træet vil en maks højde på lg n! blade. lg(n!) >= n*lg(n) -1.5n = Ө(n*lg(n))

Transkript

1 DM19 1. Iformatio-theoretic lower bouds kap. 8 + oter. Ma ka begræse de teoretiske græse for atallet af sammeligiger der er påkrævet for at sortere e liste af tal. Dette gøres ved at repræsetere sorterig-algoritme som et træ (decisiotree). Decisio-tree: Et træ hvor hver kude er e sammeligig mellem to elemeter. Hvert blad viser et mulig output på e sorterigs-alg. Højde af hvert blad bestemmer atallet af sammeligiger der skal laves for at å det resultat, som bladet viser. Dermed vil de maksimale højde af træet, svarer til atallet af sammeligiger i worst-case. De maksimale højde af et decisio-tree med e list af lægde, som iput: Atallet af mulig output vil være!, da e liste med lægde, ka ordes på! måder. I decisiotræet betyder det at der vil være! blade. Et træ med x blade.. h lg(x) DVS. decisio-træet vil e maks højde på lg! blade. lg(!) >= *lg() -1.5 = Ө(*lg()) Nedre græse for average case: Exteral path legth (epl) er summe af veje fra rode til alle blad. For at opå de midste epl, skal træet opfylde to betigelser: 1) Ige kuder må have 1 bar. 2) Forskelle på bladees højde må ikke være større ed 1. Bevis for 1) epl bliver midre, hvis kude med et bar fjeres. Bevis for 2) Epl ka også i dette tilfælde gøres midre selvom træet beholder de samme blade. Hvis et træ med højde d har et blad X med højde k hvor k< d-1, ka X byttes ud med e kude Y med to blade med højde d. Dermed bliver ædrige i epl: -(2d+k)+(2(k+1)+d-1) = k+1-d < 0 da k< d-1, dermed bliver epl samlet midre. Kukkubøh-hej Side 1 af 26

2 Geemsits kørertide vil selvfølgelig være midst, år epl er midst. De geemsitlige højde på et blad, hvor epl er lavest er dermed log(!) >= *log() 2. Adversary argumets techique, examples. Når ma ikke ka fide e god edre græse med et decisio-træ ka ma bruge e ade tekik, emlig adversary argumets. Et decisio-træ ka f.eks. ikke bruges til at fide e god edre græse for selectio-problemet (her vil flere blade ideholde samme værdi). E adversary for fidig max ad mi : Status of keys x ad y compared by a algorithm Adversary respose New status Uits of ew iformatio N,N x>y W,L 2 W,N or WL,N x>y W,L or WL,L 1 L,N x<y L,W 1 W,W x<y W,WL 1 L,L x>y WL,L 1 W,L or WL, L or W, x>y No chage 0 WL WL, WL No chage 0 Dee adversary miimere uits of iformatios (UOI) ved hver sammeligig. For at problemet løst skal alle elemeter have vudet og tabt påær max og mi. Dette betyder at vi midst skal have 2-2 UOI er for at problemet ka løses. DVS. for at for flest UOI er ud pr. sammeligig, gøres følgede: Operatio UOI #sammeligiger sammelig alle de usammeliget (N) 1/2 sammelig vider og taber hver for sig 2*(1/2-1)=-2-2 total 2-2 3/2-2 Dermed er lower boud for problemmet 3/2-2 E adversary for secodlargest : For at fide det æst-største elemet, er det e ødvedighed at kede det største elemet, dvs. at ma skal kigge -1 elemeter igeem for at fide max. Herefter ved vi at de æst-største skal fides ibladt de lg()-1 tal der har tabt til max. Altså de edre græse for at fide det æst-største tal er +lg()-2. Adversary e bliver brugt til at vise at max bliver sammeliget til midst lg() forskellige øgler. Adversary e giver e vægt w(x) til hver elemet, ved start er w 0 (x)=1 for alle x. Case Adversary reply Update of weights w k (x) > w k (y) x > y w k+1 (x) = w k (x) + w k (y), w k+1 (y) = 0 w k (x) = w k (y) > 0 x > y w k+1 (x) = w k (x) + w k (y) w k+1 (y) = 0 Side 2 af 26

3 w k (x) < w k (y) x < y w k+1 (y) = w k (x) + w k (y), w k+1 (x) = 0 w k (x) = w k (y) = 0 No chage Ved at følge dee strategi ka følgede ses: 1) x har tabt e sammeligig, hvis og ku hvis w(x) = 0. 2)... 3) Summe af vægte er. Hvilket er sad ved start og bliver opretholdt af opdaterigere fra tabelle. 4) Når algoritme stopper er der ku e øgle med e ikke-ul værdi. Udfra 1,2 og 4 ses det at w(x) =, år algoritme stopper. Hvis u w k = w(x) efter de k te sammeligige, gælder følgede: w k 2*w k-1 (Eftersom det altid er de største der går videre og w k er størst år w k-1 møder e med samme vægt) Hvis ma lader k agive atal af gage x har vudet over e idtil u ubesejret øgle. = w k 2 k *w 0 = 2 k altså er k >= lg(). E adversary for media fidig: Alle elemeter i de liste hvori vi skal fide mediae, skal ete bestemmes til at være større eller midre ed mediae. For e øgle x, ka det gøres ved at ma, ved e sammeligig ser at x > y hvor y mediae eller at x < y hvor y mediae. Disse sammeligiger kaldes derfor essetielle. E adversary der forsøger at give e algoritme så mage sammeligiger som muligt vil derfor give så mage ikke essietielle sammeligiger som muligt. Hvis de ee af de to øgler der bliver sammeliget er større ed mediae, sætter adversary e de ade til at være midre og omvedt. Hvis ige af de to øgler tidligere er blevet sammeliget, sætter adversarye de ee til at være større og de ade til at være midre ed mediae. Det midste atal ikke essetielle sammeligiger bliver så: Det midste atal essetielle sammeligiger bliver så: Dermed er de samlede lower boud: (-1)/2 (-1) 3/2-3/2 Der er dog side fudet lower bouds på lidt over 2, me de bedste algoritmer har stadig e worst case køretid der er lidt større, så der er edu lidt at se til. Side 3 af 26

4 3. Media problem algorithm ad lower boud Lower boud se ovefor. Selectio problemet går ud på at fide det i te midste elemet i et ikke sorteret-array. Specifikt ka det bruges til at fide mediae. Selectio ka foretages i worst-case lieær tid med SELECT. SELECT virker på følgede måde: 1) Deler de elemeter op i /5 gruppper af 5, hvor de overskydede elemeter udgøre de sidste gruppe. 2) Mediae bestemmes for hver af gruppere med isertio sort. 3) Select bliver u brugt rekursivt til at mediae af z (=pseudo-media). Dee pseudo-med skal bruges til at opsplitte omkrig med partitio seere. 4) Partitio (fra quicksort) iput-array et omkrig psuedo-mediae med e modificeret versio af partitio, hvor ma som iput ka agive hvilket elemet der opdeles omkrig. Lad k være e mere e atallet af elemeter på de low side af partitio e så er x det k te midste elemet og der er -k elemeter på de high side af partitio. 5) Hvis i = k, retures k, ellers, bruges SELECT rekursivt til at i te midste elemet på de low side, hvis i < k or det (i-k) te midste elemet på de high side. z Køretid: Køretide beskrives ved følgede rekursiosligig: O(1), 140 T ( ) 7 12 T ( /5) T ( ) O( ), T(/5) bereger psuedo-mediae, mes de ade halvdel bereger de største del, der kommer ud af partitio (dvs. det dårligste delig). Ved substitutio med T()<=c* ka det vises med e tilstrækkkelig stor kostat c at T() = O(). Der fides e adversary, der ka give e lower boud på (2+e), for e>0. 4. Fiboacci heaps kap. 20: Potetiale fuktio: Ca i = C i +Ф(D i )- Ф(D i-1 ) For e f-heap: Side 4 af 26

5 Ф(H) = t(h)+2m(h), hvor H er heap, t(h) er atal træer i rod-liste og m(h) er atal mærkeret kuder. Make-heap O(1), Ca = 1+(0) = 1 Isert O(1), idsætter kude i rod-liste. Ca = 1+(1) = 2 Miimum O(1), E poiter peger altid på de midste kude i rod-liste liste. Ca = 1+(0) = 1 Extract-Mi O(lg ), Først tages de midste ud, alle des bør bliver lagt i rod-liste. Herfter køres cocolidate, som søger for at ige kuder rod-liste har samme atal bør (degree). Dette gøres ved at samle to kuder som har samme degree til et træ. Ca = O(D()+t(H)) + ((D()+1)+2m(H)) - (t(h)+2m(h)) = = O(D())+O(t(H))-t(H) = O(D()) [øverste lije] Første led er actual cost, efter ma har sat børee (fra cosolidate) ed i rod-liste er der maksimalt t(h)+d() kuder i rod-liste. Hvor dette er det maksimale der ka sættes samme. Adet led er potetiallet efter operatioe, dvs. D()+1, som er atal kuder i rod-liste fordi cosolidate etop har samlet træet. (de 2m(h) markeret skal også tælles med i potetiallet) Tredje led er potetiallet før operatioe, der ikke ka begræses. Uio O(1), sammesætter to rod-lister. Ca = 1 + (0) = 1 DeceraseKey O(1), Hvis de decreasede key er midre ed des forældre, bliver de smidt ed i rod-liste. Hvis forældre ikke er mærket bliver de mærket og hvis de er mærket kommer de i rod-liste. Dette gøres rekursivt med cascadig-cut. Grude til at dette er amortiseret tid er at potetialle fuktio midskes år mærket kuder mister deres mærke. c er atal gage cascadig-cut er blevet kaldt, hver kald tager kostat tid, dvs. actual cost er O(c). Potetiallet efter operatioe er: ((t(h)+c)+2(m(h)-c+2)),der er kommet c træer mere i rod-liste og c-2 kuder er blevet umarkeret. Altså er ædrige i potetialle: ((t(h)+c)+2(m(h)-c+2)) (t(h)-2m(h)) = 4-c Dvs. Ca = O(c)+4-c = O(1) Delete O(lg ), DecreaseKey til mimus uedelig og derefter extract mi. Sammesat af decreasekey og extractmi = O(1)+O(D()) Side 5 af 26

6 Begræsig af D(): Maksimum grad D() af ehver kude i e -kude f-heap er O(lg ). Lad x være e kude i e - kude f-head og k = degree[x]. Så gælder det at >= size(x) >= ø k : hvor size(x) er atallet af kude i udertræet til x (x ikluderet). For at begræse size(x), lader vi s k være de midst mulig size(z), hvor degree[z] = k. Hvis x har grad k, gælder det at : size(x) >= s k s k ka omskrives til summe af udertræer plus kude selv, hvilket skrives som: s k = 1 + sum(i=1,k, s degree[yi] ) >= 1 + sum(i=1,k, s i-2 ), da degree[y i ] er >= i-2. Ved iduktio vises at s k >= F k+2 : basis tilfælde, k=0 og k=1: s 0 >= F 2 og s 1 >= F 3 hvilket er 1 >= 1 og 2 >= 2, altså holder basistilfældee. For at hypotese holder skal der gælde at s k+1 >=F k+3 hvilket ka omskrives til s k-1 + s k >= F k+2 + F k+1 uder atagelse at s i-1 >= F i+1 og s i >= F i+2 5. Strig matchig. termiolgi: T[1..]: text-strig P[1..m]: møstret Σ: alfabetet Der er fire måder at gekeder e patter i e strig på. Algorithm Preprocessig time Matchig time Naive 0 O((-m+1)*m) Rabi-Karp Ө(m) O((-m+1)*m) Fiite automato O(m*Σ) Ө() Kuth-Morris-Pratt (KMP) Ө(m) Ө() Naive strig matcher: De geemløber strige T og udersøger om teget T i matcher P 0, hvis ja, starter e for-løkke der udersøger om T i+1 matcher P 1 og optil T i+m. Grude til at dee algoritme ikke er optimal er at iformatio opået omkrig e værdi af T bliver igoret totalt, ved adre værdi af T. Rabi-Karp: Før dee algoritme går igag med at sammelige streg med pater, laver de først tal udfra møstret ved hjælp af horers rule. Derefter fider vi modulus af dette tal ved at dividere med at tal q. Derefter fider vi ige ved hjælp af horers rule et tal udfra de første m karakterer i T. Det divierer vi med det samme q, og ser om vi får det samme modulus som vi fik fra møstret. Hvis vi gør, har vi måske et match, så vi udersøger det. Derefter bereger vi et yt tal, for det æste sæt i række ved hjælp af formle: Side 6 af 26

7 t s+1 = 10(t s 10 m-1 T[s+1])+T[s+m+1] Grude til at dette giver problemer er at ved store tal, ka de arimetiske fuktioer ikke foretages i kostat tid dette løses ved istedet at tage modulus på hver led ide tallet reges ud, fremfor modulus på hele udtrykket. Hvis p = t s, har ma et spurious hit, dvs. der er e mulighed for at møstret er i strege s=[t s.. s+m ]. Køretide er i worst-case Ө((-m+1)m), me ku hvis P = a m og T = a. I de fleste vil ma dog ikke have mage spurious hit. Der vil være /q expected spurious hits. Strig Mathcig Fiite automato (e = strig med lægde 0) Et automato er e maskie, der udfra møstret P udreger e fuktio, der ku behøves at kigge på hver teg i strege præcist e gag. Det gør de ved at holde styr på hvilke tilstad ma er i ved et givet tidspukt, dee tilstad svarer til hvor mage af de umiddelbart foregåede teg, der passer på starte af møstret. Ide ma kigger på strege, laver me så e skema, der for hver teg i alfabetet til ehver tilstad, siger hvilke tilstad ma så kommer i. Hvis ma år e tilstad som svarer til et macth, retuerer ma det idex i strege, som ma er ået til. E suffux fuktio σ(x) er mappig fra Σ* til {0,...,m}, såda at σ(x) er det lægste prefix af P. σ(x) = max{k: P k suffix af x} Et automato M består {q 0, Q, A, Σ, δ}, hvor δ er e fuktio fra Σ x Q -> Q. Q = {0,1,,m}, q 0 = 0, A[m]. E strig-matchig automato for et givet møster P[1,..,m] defieres som følgede: tilstadsmægde Q = {0,1,,m}, starttilstade q 0 = 0 og tilstad m er de eeste acceptig tilstad. Trasitio fuktio δ er defieret ved følgede ligig for ehver tilstad q. δ(q,a) = σ(p q a) Et automato iducere e fial-state fuktio fra Σ* -> Q, såda at Ø(w) er tilstade, som M eder ud med, efter at have skaet strige w. Fuktio Ø(w) er defieret ved: ø(e) = q 0, ø(wa) = δ (ø(w),a) Målet er at bygge et fiite automato, hvor fiite-state fuktioe Ø er suffix fuktioe. Dvs. σ = Ø. Side 7 af 26

8 Side 8 af 26

9 Lemma (1) σ(xa) σ(x) +1 - r = σ(xa), - for r=0 er det trivielt opfyldt, da σ ikke ka blive egativ. - P r ] xa, - P r-1 ] x, sletter det sidste teg. Da P r-1 er et suffix af x må r-1 σ(x). Herefter subst. Ma r=σ(xa) og får σ(xa) σ(x) +1: Lemma (2) hvis q = σ(x), så gælder det at σ(xa) σ(p q a): P q ] x P q a ] xa Lad r = σ(xa), så har vi at r q +1 ved lemma 1. Vi ved at P q a ] xa, P r ] xa og at P r P q a, så må P r ] P q a. Dette betyder at r σ(p q a), altså at σ(xa) σ(p q a). Da P q a ] xa har vi også at σ(xa) σ(p q a) Med disse ka det ku lade sig gøre at σ(xa) = σ(p q a) Nu magler vi bare at vise at fial state fuktioe er lig med suffix-fuktio i T i, Ø(T i ) = σ(t i ). Teorem: Ø(T i ) = σ(t i ), for i=0,1,.., Hvis Ø er e fial-state fuktio for et strig-automato for et møster P og T[1,..,] er e iputstrig for automatoet, så gælder det at Ø(T i ) = σ(t i ), for i=0,1,.., Bevises ved iduktio på i. For i=0 er det trivielt opfyldt, T 0 = e. altså Ø(T 0 ) = 0 = σ(t 0 ). Nu atages det at Ø(T i ) = σ(t i ) og beviser at Ø(T i+1 ) = σ(t i+1 ). q = Ø(T i ) a = T[i+1] Ø(T i+1 ) = Ø(T i a) (ved def. af T i+1 og a) = δ(ø(t i ),a) (ved def. af Ø) = δ(q,a) (ved def. af q) = σ(p q a) (ved def. af δ, som er δ(q,a) = σ(p q a)) = σ(t i a) (ved def. ved lemma 2 og iduktio) = σ(t i+1 ) (ved def. af T i+1 ) KMP-matcher: Består af to dele, e der reger prefix-fuktioe og selve matchere. KMP kigger ku på teg, der idgår i møstret, hvorimod fiite-automato kigger på hele alphabatet. Prefix fuktio π: {1,..,m}->{1,..,m-1}, π[q] er lægde af det lægste prefix af P, som er et suffix af P q. Side 9 af 26

10 6. Huffma codig Huffma codig bliver brugt til at komprimere data med. F.eks. e tekst-fil, hvor der er reserveret typisk 8 bit til hver teg. Dette ka dog gøres bedre, f.eks. hvis der ku bruges e delmægde af alle teg, så kue ma måske øjes med at kode hver teg med 3 bit (8 forskellige teg). Når ma bruger samme bit-lægde til at ecode et teg kaldes det fixed-legth-code, dette er dog ikke optimalt. Istedet ka ma bruge variable-legth code, hvor det teg der er hyppigst fremkommede i tekst-file bliver ecodet med færre bits ed de adre teg, som bliver codet med flere bit alt efter, hvor ofte de fremkommer. For at det ka lade sig gøre, skal ecodig af hver teg være ikke-overlappede (også kaldet prefix codes = prefix-free codes) dette betyder at ma ikke behøves at adskelle hver ecodet teg med f.eks. et puktum. Der er ikke oge ecodiger der er prefix er af adre ecodiger. Omkostig af et huffma-træ T beæves B(T): B( T ) f ( c) d ( c) cc T f(c) er hyppighed af teget c i alfabetet C, d T (c) er dybde af teges placerig i huffma træet, som også er lægde af codeordet. Kostruktio af et huffma-code træ Hyppighede af alle teg reges ud først. Alle teg gøres til e kude med vægt svarede til deres hyppighed der bliver idsat i heape Q. De to kuder med midst vægt (x,y) bliver sat som bør til e y kude (z), som får e vægt svarede til vægte af de to bør lagt samme. x og y bliver så fjeret fra Q, mes z bliver idsat i Q. Dee procedure fortsættes, til der ku er e kude tilbage. For at bevise at greedy-choice algoritme HUFFMAN er korrekt, skal ma vise at problemet udviser greedy-choice og optimal substructure egeskabe. Greedy-choice egeskabe er at ma ka fide de globale optimale løsig ved altid at vælge de lokale bedste løsig år ma har et valg. Et problem udviser Optimal substructure, hvis e optimal løsig til problemet ideholder optimale løsiger til subproblemer. Lemma 1 Greedy-choice property: Lad der være et alfabet C med frekveser f[c], lad x og y være teg i C med lavest frekves. Så eksistere der e optimal løsig T, såda at x og y har samme lægde og ku er forskellige på de sidste bit. DVS. de er søskede i huffma-træet. Lad a og b være søskede i bude af træet. Da x og y er letteste blade er f[x] f[a] og f[y] f[b]. Vi vil så ombytte x med a og få løsige T derefter vil vi ombytte b og y og få T, omkostige for at gå fra T til T er: B(T) - B(T ) = f ( c) dt ( c) f ( c) dt ' ( c) = f[x]d T (x) + f[a]d T (a) - f[x]d T (x) + f[a]d T (a) = f[x]d T (x) + f[a]d T (a) - f[x]d T (a) + f[a]d T (x) = (f[a] f[x])(d T (a) d T (x)) 0 Side 10 af 26

11 f[a]-f[x] 0 fordi x er miimum-frekves blad og d T (a) d T (x) 0 fordi a er et blad med maksimums dydbe. DVS. at B(T) B(T ) Vi udskifter så y med b, og får T, på samme made ka vi vise at B(T ) - B(T ) 0. B(T ) B(T ) B(T) Da T er optimal, må B(T ) B(T). Hvilket ku giver mulighede at B(T) = B(T ). Lemma 2 Optimal substructure: Lad der være et alfabet C med frekveser f[c], lad x og y være teg i C med lavest frekves. Lad C = C-{x,y}U{z}, således at et yt teg z bliver lagt til C, hvor f er defieret som i C, påær at f[z]=f[x]+f[y]. Lad T være et træ der repræsetere e optimalt prefix-code af C. Så er træet T, opået fra T ved at erstatte bladet z med e iter kude der har x og y, som bør også e repræsetatio for et optimalt træ af C: T: er træet T, hvor z er erstattet med x og y. T :er optimalt for C. Hvor C = C-{x,y}U{z}. Omkostig B(T) af T, ka udtrykkes fra omkostig B(T ) af T. For c C { x, y}, har vi at: d T (c) = d T (c) f[c]d T (c) = f[c]d T (c) og d T (x) = d T (y) = d T (z) +1 f[x]d T (x) + f[y]d T (y) = (f[x] + f[y])(d T (z) + 1) = f[z]d T (z) + (f[x] + f[y]), fordi f[z] = f[x] + f[y] Hvorfra ma ka kokludere at: B(T) = B(T ) + f[x] + f[y] eller B(T ) = B(T) - f[x] - f[y] Dette resultat ka vi bruge til det edelig bevis (bevises ved modstrid): Gør u såda at T ikke repræsetere e optimal prefix code for C. Så eksistere der et træ T, såda at B(T ) < B(T). Lad os sige at i T er x og y søskede (ok ved lemma 1). Lad T være T med e x og y s fælles forældre uskiftet med et blad z, hvor f[z] = f[x] + f[y]. Så: B(T ) = B(T ) - f[x] - f[y] < B(T) - f[x] - f[y] = B(T ) Da T er optimal er det e modstrid at B(T ) < B(T ). Side 11 af 26

12 7. Proof of SAT Kap 34: Recogitio problem A e NP, siges at være NP-komplet hvis alle adre problemer ka trasformeres i poly tid til A. Hvis ma har et problem, som alle adre problemer ka trasformeres til, skal ma bare vise at det ka trasformeres til et yt problem, så er det ye problem også NP-komplet. Det svære er altså det første problem hvor det skal vises, hvor ma skal vise at alle adre problemer i NP ka trasformeres til dette. Her viser vi at alle problemer i NP ka trasformeres til SATISFIABILITY [cooks theorem]. Hvis ma har et problem A som er i NP og e istas af dette x, ved vi at der fides midst et certifikat c(x) for hver yes-istas og e certifikat-checkig algoritm ά. Algoritem ά er af følgede form: hvor l og l er istruktioer, σ og σ er symboler af alfabatet Σ, o er -1,0,1. Det betyder at: De sidste istruktio er: Hvis det uværede skaede symbol er σ, så slet det og skriv σ istedet, flyt o positioer og kør l ellers gå videre til æste istruktio. ά : accept hvor ά er lægde af programmet (det totale atal istruktioer). Dette er begræset poly af x, hvor x er e istas af problemet A, dvs. ά p( x ). De boolsk formel F(x) wil ivolvere de følgede boolske variabler: X i,j,σ : e boolsk variable X i,j,σ for alle 0 i,j p( x ) og. Altså: til tid i, på de j te postitio ideholder strige symbolet σ. Y i,j,l : e boolsk variable Y i,j,l for alle 0 i p( x ), 0 j p( x )+1 og 1 l ά, hvor ά er atallet af istruktioer i algoritme ά. Altså: til tide i på de j te positio bliver der skaet og de l te istruktio bliver udført. Hvis j=0 eller j= p( x )+1, betyder det at hovedet er faldt af strige og udregige er fejlet. Side 12 af 26

13 1) Der må ku være et symbol på plads j til tide i. 2) j j til tide i udføres ete l eller l og ete plads j eller plads j læses. 3) Der må ikke læses på positio 0 eller p( x )+1 4) Til tide i, skal der være et teg σ på ehver positio j og der skal udføres e idstruktio l og læses på positio j. S(x) siger at de første x teg svarer til tegee i x -at det x +1 teg er $ -at de første idstruktio udføres -at det første teg læses til tide 0. Side 13 af 26

14 E(x) siger at hvis der på e plads j til slut-tide p( x ) bliver udført α, er de true. L1) liie 3,4 og 5 skal være opfyldt. L2a) Hvis vi læser σ på plads j til tid iså har vi til tid i +1 skrevet σ og til tid i +1 udføres istruktio l og læser positio j+o. L2b) Hvis vi ikke læser σ, me τ så til tid i+1 er τ stadig på plads j og vi udfører istruktioe l+1. L3) Hvis vi er ået til istruktioe A, så skal vi blive der også i æste skridt og udfører A. L4) Vi må ikke ædre på symboler forskellig fra hvor vi har læsehovedet. Hvis F(x) er satisfiable betyder det altså at: U: strege ikke er mærkelig, dvs. har mage eller 0, symboler på samme plads, og at hovedet scaer et uikt symbol der er idefor strege. S: programmet starter korrekt. W: programmet virker rigtigt og udføre de ordrer det får besked på. E: programmet er blevet færdigt, og har ået acceptig stage. Dermed er x e yes istace af A. Side 14 af 26

15 8. NP-completess proofs examples For at bevise at et sprog L er NP-komplet, skal følgede 5 pukter opfyldes: 1) Bevise at L er i NP. 2) Vælg et kedt NP-komplet sprog L. 3) Beskrive e algoritme der bereger e fuktio f, der fastlægger for e hver istas x e {0,1} * af L til e istas f(x) af L. 4) Bevise at fuktioe f opfylder x e L hvis og ku hvis f(x) e L for alle x e {0,1} *. 5) Bevise at algoritme der bereger f kører i poly tid. Eksempel 1, HAM reduceres til 3-SAT. For at lave dee reduktio, kostruere ma to widgets, A og B. Widget A, sørger for at ma ved at gå fra ete u til u eller v til v, besøger alle kuder i A og dvs. at ma KUN ka gå e af vejee. u u A v v Widget B, gør at ma ka bruge alle kombiatioer af (u1,u2), (u2,u3) og (u3,u4), me ikke allesamme for at lave e HAM-cykle. For hver clause i 3-SAT oprettes e widget B og for hver widget B oprettes 3 widget A (e for hver variable i clause). U 1 U 2 B U 3 U 4 Side 15 af 26

16 Når ma på varibel-side har valgt at tage ete egeret eller ikke egeret, bliver ma ødt til på clausul-side at gå udeom de kater, ved at beytte B widgete. Hvis det skal gøres for alle tre variable, ka det ikke lade sig gøre at lave e HAM-cykle. Hvis der for de tilsvarede 3-SAT fides e variable tildelig, så de giver true, vil der også være e HAMcykle i grafe. Hvis der er e HAM-cykle i grafe, vil ma også kue få de tilsvarede 3-SAT til at give true, da der altid vil være midst e variable for hver clausul, hvor ma er gået igeem B-dele og ikke variabel dele. Side 16 af 26

17 Eksempel 2: reducere HAM til tri-tsp: Tri-TSP er TSP istaser hvor trekat-ulighed er opfyldt for alle trekater i grafe. DVS. at det altid er huritge at tage e-kat veje frem for to-kat a c veje. (c a+b). Tri-TSP er NP-hård: HAM-istas: e udirected graf give ved e adj. Matrix x, hvor 1=>der eksistere e kat, 0=>der eksitere ige kat. b Reduktio: Sæt alle uller i matrice til 2, og lad k =. Claim: Der er e HAM-kreds i de origiale graf, hvis og ku hvis der er e tur med omkostig k i de ye matrice. OG trekat-ulighede holder for alle trekater i grafe. 9 Approximatio algorithms, Kap. 35 Approximatios-algoritmer er poly-tid algoritmer der garatere at forholdet mellem de fude løsig og de optimale er begræset af e kedt faktor. * Approximatio-ratio er givet ved max C C C, * C Et approximatio-skema for et optimerigs problem er e approx-algoritme der både tager e istas af problemet og e værdi ε, såda at skemaet er e (1+ ε)-approx-algoritme, hvis for e hver ε > 0, at skemaet kører i poly-tid. Dette kaldes et poly-tid approx skema. Her ka køretide dog stige sigifikat, år ε bliver midre. I et fuldt poly-tid approx skema er der poly-sammehæg mellem ε og køretide. Tri-TSP: Der fides e 3/2-approx-algoritme (christofides algoritme). Tri-TSP e 2-approx-algoritme: Ma starter med at lave et MST, for at sætte edre græse for de optimale TSP-tur. Algoritme virker på følgede måde: 1) Vælg e rod-kude i træet T. 2) Bereg et MST for T, udfra dee rod-kude ved at bruge MST-PRIM. 3) Lav et Dybde-først-søgig, hvor der ma laver umerig = Preorder walk. (brug samme rod-kude). Samlet vægt for MST af T: c(t). Optimal TSP-tur: H* c(t) c(h*) Vægte for at gå rudt om MST et er c(w) = 2c(T). DVS. c(w) 2c(H*) Grudet trekat-ulighede bliver det ikke dyrer at slette ogle kater og tage de direkte vej. Dette giver preorder-walk e H, hvor det gælder at. Side 17 af 26

18 c(h) c(w) 2c(H*). Geerel TSP Det ka bevises at der ikke fides ogle poly-tid approx til det geeralle TSP-tilfælde. Dette gøres ved at lade P = NP og vise at dette ikke holder. SUBSET-SUM problemet: Iput er e mægde af tal S og et hel tal t. Spørgsmålet er så om der fides e delmægde af S, hvis sum giver t (NP-komplet problem). Optimerigs-problemet består i at fide de delmægde, hvis sum er så stor som muligt ude at være større ed t. Til dette optimerigs-problem fides følgede fuldt poly-tid approx skema. I e for-loop tages elemeter id e af gage. Elemetet x i ligges til alle summer, der ka laves udfra af permutatioer af elemetere {x 0,...,x i-1 } (gyldig permutatioer, dvs. permutatioer som ikke er større ed tallet t). De ye liste, der kommer udfra dee operatio bliver merge et med de gamle liste fra forrige iteratio. Efter hver merge bliver alle elemeter der er større ed t smidt væk. => ekspoetielt. Måde at begræse atallet af delmægder på er ved at trimme ogle væk. Ma trimmer værdier som er relative tæt på hiade i e sorteret liste med grad p. Det er tekikke brugt i approximatio algoritme til at udgå ekspoetielt tid. y bliver fjeret hvis det er større ed z og midre ed y/(p+1), dvs. at z approximere y med e afvigelse på p/100 procet. y/(p+1) z y Bevis for at approx-subset-sum er et fuldt poly-tid approx skema: Først atages at: y*/(1+ ε/2) z y* hvor y* er e optimale løsig og z e L i. Dette ka omskrives til: y*/z* (1+ ε/2) hvor z* er de største elemet i L (dvs. løsige fra approx-alg). Vi magler u at vise at y*/z* 1+ ε, hvilket svarer til at vise at: f() = (1+ ε/2) 1+ ε Lim -> (1+ ε/2) = e^(ε/2), fordi f() er positiv gælder der at f() e^(ε/2), vha. regeregler ka det omskrives til at f() 1+ε. Udfra dette ka det kokluderes at y*/z* 1+ε, hvilket er aalyse af approximatios-ratio e. Nu magler vi at begræse lægde af L i. Med et target t, ka der være optil log 1+ε/2 (t)+2 elemeter (0 og 1 er ikluderet). Dette ka omskrives: log 1+ε/2 (t)+2 (4 l(t))/ε + 2 Side 18 af 26

19 Da køretide er liær i forbidelse med størelse af liste L, bliver køretide polyomiel i førhold til idput og 1/ ε, da L jo etop er det. 10. Radomized algorithms. E radomized algorithm er e algoritme, hvis opførsel ikke ku er bestemt af iputtet, me også af værdier produceret af e radom-umber geerator. Dermed vil der ikke være et bestemt iput, der får algoritme til at give e dårlig køretid, derimod ka alle iout give e dårlig køretid, hvis radomiserige er uheldig. Quick sort: Quick sort er e divide ad coquer algoritme. De tager et elemet (=pivot-elemetet), og deler rete af liste op i dem der er midre og dem der er større, bliver så recusivt sorteret med quick sort. Fordi det foregår i-place behøves det ikke at combied resultatet til sidst. Det der afgøre om quicksort kører godt eller dårligt er hvor godt pivot-elemetet der vælges er. Hvis der deles dårligt ved hver split ka det ede med at e af partitioere altid har størrelse -1, hvilket giver e køretid på O( 2 ) dette kaldes et ubalaced partitio. Radomized-quicksort bruger e radom-umber geerator til at vælge pivot-elemetet med. Dette ka afhjælpe dårlig iput, således at der ikke bliver lavet for mage ubalaced partitios. Køretid på radomized-quicksort: Køretide er O(+X), hvor X er atallet af sammeligig i liie 4 i algoritme og er atallet af gage partitio bliver kørt. Derfor bereger vi X for fide køretide: Ma omdøber A til z 1,z 2,z 3,..,z, hvor z i er det i te midste tal i A. Lad Z ij være defieret som mægde, hvor z i er det i te midste tal i Z ij og z j er det j te største tal Z ij = {z i,z i+1,...,z j }. Hver par af tal i iputtet bliver højst sammeliget e gag, da tal ku sammeliges med pivotelemetet og pivot-elemetet ikke idgår i oge uderkald. De mulige sammeligiger er altså: X 1 X ij i 1 ji1, hvor X ij betyder at z i bliver sammeliget z j Hvis ma tager expectatio værdier på begge sider og bruger liiarity of expectatio fåes: 1 X E X ij E = 1 E X ij = 1 i1 j i 1 i1 j i1 i1 j i1 Pr{ z i is compared to z j } Tal på hver side af pivot-elemetet bliver ikke sammeliget. De eeste måde z i og z j ka blive sammeliget på er ved at e af dem bliver valgt som pivot-elemet. Derfor er sadsylighede for at de to bliver sammeliget er lig med sadsylighede for at e af dem bliver valgt som pivotelemet. DVS. Pr{ z i is compared to z j} = Pr{z i or z j is first chose from Z ij } = Pr{z i is first chose as pivot-elemet} + Side 19 af 26

20 Pr{z j is first chose as pivot-elemet} 1 1 = j i 1 j i 1 2 = j i 1 Altså er: E j 1 1 X i ji 1 Ved at sætte k = j-i og bruge at te harmoiske ummer H = 1+1/2+1/3+1/ / = = l k 1 k +O(0), dvs.: E X 1 i 1 ji1 2 j i 1 1 i1 k 1 2 k 1 1 i1 k 1 2 k 1 i1 O(lg) O( lg ) De totale køretid for radomdized-quicksort er O ( lg ). Radomized approximatio algorithm for MAX-3-CNF satisfiability: MAX-3-CNF forsøger at gøre så mage clauses som mulugt til true. Her vil vi vise, at hvis ma vælger variablee tilfældigt, med lige stor sadsylighed for true og false, så er det e 8/7 aproximatio. Vi siger at Y i = 1, hvis de i te clause er evaluere til true. Da e clause evaluerer til true medmidre alle tre variable er false, er sadsylighede for at Y i = 0 Pr{Y i =0} = (1/2) 3 = 1/8. Lad Y være atallet af opfyldte clauses, så er Y = Y 1 + Y Y m. E Y E m i 1 Yi m i1 E Y i m i1 7m 7 /8 8 Da m er e øvre græse for atallet af opfyldte clauses, får vi e approximatio-ratio på højst m 8 /7 7m /8 Hvis clause har lægde s istedet for lægde 3, får vi e approximatio-ratio: s, dvs. jo større clause-størelse, desto bedre er approximatioe (ratio tættere på 1). Side 20 af 26

21 11. Brach ad boud. Brach ad boud er e heuristic, der kører efter divide ad coquer pricippet. B&B ka deles op i tre hoveddele: 1) Boud 2) Brach 3) Selectio Boud bliver brugt begræse løsig-mægde, hvis ma har e boud tæt det optimale, vil ma kue fjere e masse dårlige løsiger og dermed er de resisterede arbejdsmægde midre. Tit starter ma med e ade heuristic til at fide e god boud at starte es B&B alg. Brach bruges til at opdele problemmet i uderdele, på e måde, så ma ka sige oget om løsige til uderdelee. Dermed ka ma, hvis dee løsig er dårligere ed de fude boud behøves ma ikke rege videre på dette uderproblem (ma fathom er de!). Laver ye subproblemer. Efter ma har brach et, skal ma vælge (=selectio) hvilke ogle løsiger der skal arbejdes videre med dette gøres ved BeFS, DFS eller BFS, hvor ma fider de kude med bedste boud med graf-operatioer. Der er to fuktio, der kytter sig til B&B: g(p i ) og f(p i ), hvor P i er e kude i B&B-træet. g(p i ) beskriver de lower boud, der er forbudet med et subproblem, hvorimod f(p i ) beskriver omkostige ved e faktisk løsig. Der gælder følgede sammehæg mellem g og f: g(p i ) f(p i ), for alle kuder P i i B&B-træet. g(p i ) = f(p i ), for alle blade i B&B-træet. g(p i ) g(p j ), hvis P j er far til P i. Når ma reger e lower-boud for et (sub)problem og dee er dårligere ed e faktisk løsig (dvs. f(p i ), for e god-løsig), bliver hele subproblemet fathom et. Når ma så fider e bedre løsig er det dee der bliver brugt til at sammelige lower-boud for et sub-problem. De bedste løsig hidtil fudet kaldes icumbet, ved algoritmes bruges tit e ade heuristics til at fide e god icumbat, således at mage subproblemer ka fathoms. Følgede gælder om f og g, hvor P er mægde af potetielle løsiger og S er mægde af feasiable solutios, S P : mi xp mi g( x) mi xp xs f ( x) mi g( x) xs f ( x) eksempel på B&B, symmetric TSP: Brach: Ma brach er ved at ekskludere e kat ud af T oe -træet, dvs. sætte vægte af de til uedelig. Herefter reger e lower-boud udfra det ye subproblem ma har fået ved at ekskludere Side 21 af 26

22 kate. Nogle gage ka de samme løsig godt fides i flere subproblemer, dette gør dog ikke algoritme ukorrekt, me blot lagsommere. Boud: T 1 boud for symmetrisk TSP-problem: Vi tager e kude #1 ud af grafe og laver et MST på reste af grafe og får T rest. De to korteste kater e 1 og e 2 til #1 kude bliver u lagt til T rest og giver 1-tree T oe. DVS. T oe = T rest e 1 e 2 Nu er T oe e lower boud for e hamiltoia tour. Dette ka ses da et MST + e kude altid vil være billigere ed e faktisk ham-tur. Hvis T oe er e HAM-tur, har vi fudet de optimale tur ellers vil der være e kude med 3 kater. Dee græse ka dog gøres bedre ved at trasformere problemet til et T oe træ med e dyrere omkostig UDEN at ædre på omkostig af HAM-turee i grafe. Dette gøres på følgede måde: Kuder i T oe træet med grad på 3 eller derover får flyttet oge af deres kater over på kuder der ku har e kat tilkyttet. Dette giver e et T oe træ med e omkostig ærmere e optimal HAMtur og dermed e bedre græse. Lad i være defieret: i deg( v ) 2 i De ye omkostig for hver kat c ij bliver u bereget ved at tage de gamle omkostig c ij og ligge for de to tilhørede kuder: c ' ij c ij i j Dee trasformatio ædre ikke på omkostige af e HAM-tur, da hver kude v i i e HAM-tur har præcist e deg(v i ) = 2 (dvs. hver kude har lige øjagtig to tilhørede kater). Dee egeskab ' sikre at c c for kuder i HAM-tur. ij ij Omkost af e HAM-kreds = old cost + 2 Og da følgede ka reges: i1 i i i1 i1 (deg( v ) 2) i i1 deg( v ) 2 0 i DVS. omkostige af e HAM-tur er ikke berørt af trasformatioe. Side 22 af 26

23 Heuristics: Heuristics bruges til problemmer der ikke er i NP eller er NP-hårdt. Heuristicts giver ikke ligesom aproximatios algoritmer e garateret græse for hvor tæt på de optimale løsig ma kommer, til gegæld er de tit bedre. Costructio heuristics (CH): Costructio heuristics er ofte grådige algoritmer, der tager optimale delløsiger og samler dem til mulig løsig. Travelig salesma: Der er to problemer med CH, ma skal overveje: 1) Hvorda ma vælger de æste by der skal idsættes i es tur. 2) Hvorda de valgte by bliver idsat i es tur (f.eks. i e af edere eller et sted ide i ture, der samlet gør ture billigere) E slags CH kaldes Extedig tour: Ma starter med e distace-matrix, udfra dee vælges byere e af gage efter et valgt kriterie (f.eks. Nearest Neigbor) og sammesættes til e tur. Nearest Neighbor: Her vælges de by som tætteste på de sidst valgte by. Locale search (LS) LS besøger e mægde af løsiger af e istas x ved at besøge e associeret aboskab graf G N (x) idtil e lokal optimal løsig er opået. Dee løsig skal være bedre ed alle adre i aboskabet. Metaheuristics (MH) Virker som e LS, me ka udgå at sidde fast i e lokal optimal løsig. Geetisk algoritmer (GA): Heter ispiratio fra biologie og darwis pricipper om survival of the fittest. Ma starter ud e geeratio af løsiger P(0) og tildele dem e fitess-værdi (løsiger = idivider). Udfra P(0) vælger ma så ogle idivider der skal bruges til matig (lave ye løsiger). Der fides forskellige måder at vælge disse idivider på, e af dem hedder roulette-whel selectio. I dee metode er sadsylighede for at et idivid bliver valgt proportioalt med idividets fitess-værdi. DVS. sadlighed q for at vælge idividet t med fitess værdi f(t): q( t) N i0 f ( t) f ( t i, hvor det ederste udtryk agiver summe af alle fitess-værdier i hele populatio. ) N er atallet af løsiger i e geeratio. Når e tilstrækkelig stor matig pool er valgt, foregår matige. Matig foregår ved at tage to idivider og blade deres iformatio vha. overkrydsiig og herved dae to ye idivier. Derudover ka lade idivider udergå mutatioer (dvs. flippe e bit i e MAX-SAT løsig). Dee proces starter u forfra med at vælge e matig pool fra di ye geeratio. Ma fortsætter idtil ma år e tilfredsstillede løsig eller har kørt for læge. Side 23 af 26

24 EKS: max f(x 1,x 2,,x 20 ) ecode 20 real tal på e biær streg dette repræsetere e løsig, 20 geer efter hiade på et kromosom. Overkrydsig foregår på følgede måde: Fitess-værdie udreges udfra hvor godt de 20 tal seperaere e biologisk egeskab. O-lie Algorithms. O-lie algoritmer er algoritmer der virker ved at tage ordrer id é ad gage, ude at kede de kommede ordre. Competetiv aalyse går ud på at sammelige e olie algoritme, som ikke keder rækkefølge af ordrere med de optimale. E olie algoritme kaldes c-competetive, hvis der fides e kostat a og c så der gælder at: C A (σ) c*c OPT (σ) + a hvor C A er e olie algoritme, C OPT er de optimale algoritme hvor ma keder rækkefølge af ordrere. (Idee kommer fra approx-algoritmer, hvor ma sammeliger de optimale offliealgoritme med de algoritme ma udersøger.) E ordre-rækkefølge σ ka skrives som σ = < σ(1), σ(2),σ(3),...,σ(s) >. Pagig problem: Når ma har to iveauer af hukommelse, e hurtig (k-sider) og e lagsom (flere ed k-sider). Ma bliver ød til at smide e side ud, år ma skal have e y side id i de hurtige hukommelse. Dette kaldes e fault. Pagig problemmet går så ud på at fide ud af hvilke side ma skal vælge at smide ud. De optimale ikke olie algoritme, smider altid de side ud af de hurtige hukommelse, som skal bruges ige seest. LRU (Least Recetly Used), gør som avet siger og evict er de sidste brugte side, år der skal smides e side ud af de hurtige hukommelse. Der er også FIFO (First-I First-Out). Bevise at LRU er k-competetiv på e ordre-rækkefølge σ: Side 24 af 26

25 Ma opdeler σ i faser P(0), P(1),... såda at LRU fejler k gage i hver faser. DVS. år LRU har fejlet k gage laver ma e y fase. Der bliver fejlet øjagtig k gage i P(i), år i 1.?P(0) må højst fejlet k gage? Det skal u bevises at OPT vil fejle midst e gag per fase, hvilket vil give græse (altså k- competitiv). Vi lader P(i) agive e tilfældig fase, hvor i er foskelig fra 0, σ(t i ) lader vi agive de forste amodig i P(i), mes σ(t i+1-1) er de sidste, p lader vi agive de sidste amodig i P(i-1). Vi vil vise at P(i) ideholder amodiger om k forskellige sider, der alle er forskelige fra p. Oveståede ses let, hvis de k faults skyldtes k forskellige amodiger, der alle er forskellige fra p. Hvis ikke det er tilfældet, har ogle af de k faults skyldtes e amodig på de samme side. De vi fejler på, ka være q, hvor q p. Hvis det er tilfældet, skal der amodes om k-1 forskellige sider imellem at der amodes om q første gag og ade gag. Derfor skal der være midst k+1 forskellige sider i fase. Hvis de side vi fejler på to gage er p, ka vi med samme argumet som før, sige at der skal være midst k+1 forskellige sider i fase. Når der er k+1 forskellige sider i e fase, er C OPT tvuget til at faulte midst 1 gag pr. fase. Lad A være e determiistisk olie pagig algoritme. Hvis A er c-competitiv, så c k. Oblivios Adversary: Dee adversary skal geerere e komplet ordre, før ogle amodiger bliver givet til algoritme. Markig algoritme: Ved begydelse af hver fase, er alle sider i hurtig hukommelse umarkerede. Når der bliver amodet om e side, bliver de markeret. Ved fejl bliver e tilfældig valgt umarkeret side smidt ud. E fase ede år der ikke er ogle umarkerede sider ved fejl. Påstad: Markig algoritme er 2H k competetiv imod e oblivius adversary. Det ka ses at i e fase amodes der om k+1 forskelige sider. E side der er umarkeret, me som var markeret i forige fase kaldes stale. E side der hverke er markeret eller stale kaldes clea. Lad c været atallet af clea sider, der bliver amodet om i e fase. Vi vil vise at: 1 Det armotiserede atal fejl ui e fase er midst c/2 2 Det forvetede atal fejl lavat af markig er højst ch k. S opt = {sider i OPT s cahce} S A = {sider i markig s cache} d I = S opt \S A iitially d F = S opt \S A fialy OPT vil fejle på midst c-d I fordi de vil fejle på alle c, udtage de som er i OPT til at starte med som ikke er i A. OPT vil også fejle på midst d F, da alle der er i A, er markeret ved slutige af fase, så hvis de er smidt ud af OPT, har de fejlet. Dermed ka vi sige at OPT fejler midst Side 25 af 26

26 max{c-d I,d F } ½(c-d I +d F ) = c/2 d I /2+d F /2 Over flere faser forsvider d I of d F, da d I fra de ee fase er lig d F fra de ade fase. Altså fejler OPT armortiseret midst c/2 i e fase. Påstad: Forvetede atal af fejl for MARKING c*h k s = k-c, hvor s er atallet af amodiger til stale-pages. c(i) = atallet af clea pages amodet før de i te amodig til e stale page s(i) = atallet a stale-pages tilbage lige før de i te amodig til e stale page Når vi får de i te amodig til e stale-page, vil der være s(i)-c(i) af stale pages i cache. De forvetede omkostig af dee amodig vil være: s( i) c( i) c( i) 0 1 s( i) s( i) c s( i) c, da s(i) = k (i-1) k i 1 De totale forvetede omkostig på amodiger på stale-pages er: s s c c c( H k 1) k i 1 i i1 i 2 plus summe af clea pages dvs. c(h k -1)+c = c*h k Ratioe af MARKING c H k c / 2 2H k Side 26 af 26