Mm5: Counting, probabilities and randomized algorithms - Oktober 24, 2008

Transkript

1 Algorithms and Architectures I Rasmus Løvenstein Olsen (RLO), Jimmy Jessen Nielsen (JJE) Mm5: Counting, probabilities and randomized algorithms - Oktober 24,

2 Algorithms and Architectures II 1. Introduction to analysis and design of algorithms(rlo) 2. Recursive algorithms and recurrences (RLO) 3. More about recurrences (RLO) 4. Greedy algorithms, backtracking and more recurrences(rlo) 5. Counting, probabilities and randomized algorithms (RLO) 6. More sorting algorithms: Heap sort and quick sort (RLO) 7. A little bit more about sorting - and more times for exercises (RLO) 8. Hash tables, Hashing and binary search trees (RLO) 9. Binary search trees, red-black trees (JJE) 10. Red-black trees continued + string matching (JJE) 2

3 Dagsorden Først lidt om sandsynligheder Indikator funktion Eksempel på anvendelse af indikator funktion Anvendelse til analyse af algoritmer og algoritme kompleksiteter Hyring af salgsmand problemet Genetiske algoritmer Lidt om generering af tilfældige tal Opsummering og konklusioner Opgaver 3

4 To klasser af tilfældige algoritmer Las Vegas a Las Vegas algorithm is a randomized algorithm that never gives incorrect results; that is, it always produces the correct result or it informs about the failure Monte carlo are a class of computational algorithms that rely on repeated random sampling to compute their results. 4

5 Lidt omkring sandsynlighed Frequentists talk about probabilities only when dealing with well defined random experiments. The probability of a random event denotes the relative frequency of occurrence of an experiment's outcome, when repeating the experiment. Frequentists consider probability to be the relative frequency "in the long run" of outcomes. Sandsynlighed er således defineret som antallet af begivenheder A ud af N totale begivenheder Pr( A) = N N a 5

6 6 Indikator funktion Vi definerer en indikator funktion som Dermed kan en sandsynlighed også udtrykkes som (Lemma 5.1) = hvis A ikke er sket 0 er sket hvis 1 ) ( A A I = = = = N i A a A I N X E N N A 1 ) ( 1 ] [ ) Pr(

7 Sandsynlighedsanalyse brug af indikator funktion Fødselsdagsparadokset Spørgsmålet er hvor mange personer der skal være i et rum, før der er 50% sandsynlighed for at to af dem er født på samme dag nogen gæt? Og så det samme problem ved brug af indikator funktion Bemærk forskellen: Først kiggede vi på sandsynligheden Dernæst kiggede vi på den forventede værdi 7

8 Eksempel verifikation af mismatch probability Tilgang af dynamisk information fra noder i netværk Eksemplet ovenfor angiver en reaktiv tilgang Vi udviklede en stokastisk model der angiver sandsynligheden for at benytte forkert data Problemet er at finde ud af om vores model er rigtig! 8

9 Eksempel metode Grundlæggende ide for evaluering af model Registrer de modtagne værdier til tidspunktet de er modtage Registrer event værdierne til samme tidspunkt Sammenlign, og indiker en værdi hvis forskellig R E I( E, R, U, D) = I{ abs( E R E ) > Na Ved brug af kan Pr( Avi ) = nu sammenligne hvis de involverede processer er af ens N karakter R 0} 9

10 Eksempel resultat og evaluering Mismatch Probability [*] Mismatch probability (Reactive, Cached, Cbar=5), Ebar=10, μ=1, Ubar=4, Dbar=3 1 Reactive Reactive, cached Proactive, event (Full) Proactive, event (Inc) Proactive, per (τ=2) Event interarrival time [s] Konklusion: Det er søreme et tilfælde hvis model og simulering ikke passer overens!! 10

11 Dagsorden Først lidt om sandsynligheder Indikator funktion Eksempel på anvendelse af indikator funktion Anvendelse til analyse af algoritmer og algoritme kompleksiteter Hyring af salgsmand problemet Genetiske algoritmer Lidt om generering af tilfældige tal Opsummering og konklusioner Opgaver 11

12 Hire assistant algoritme og kompleksitetsanalyse Funktion Hire-Assistant(n) Cost Gentagelser 1 Best = 0-2 For i = 1 to n - 3 do Interview candidate i c i 4 if candidate i is better than candidate best - 5 then best = i - 6 Hire candidate best c h 1 n n n m m Vi kigger nu kun på prisen for at interviewe versus hyringen af folk T(n) = O(c i n+c h m); c i <<c h Klart at T(n) = O(c h n) i værste tilfælde, men hvad med gennemsnitlig? Spørgsmålet er hvad er m? Tavlenoter.. Dermed er T(n) = O(c h Ln(n)) gennemsnitlig!! (meget bedre end O(c h n)) 12

13 Input afhængig kompleksitet Udgangspunkt er tre forskellige rankerings vektorer A 1 = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10} A 2 = {10, 9, 8, 7, 6, 5, 4, 3, 2, 1} A 3 = {5, 2, 1, 8, 4, 7, 10, 9, 3, 6} Med input A 1, vil der blive hyret 10 assistenter Dårligste situation, T(n) = O(n) Med input A 2, vil der blive hyret 1 assistent Bedste situation, T(n) = O(1) Men input A 3, vil der blive hyret 3 assistenter Et eller andet sted midt imellem, T(n) = O(c h Ln(n)) 13

14 Randomized algoritmer Funktion Hire-Assistant(n) 1 Randomly permutate input vector 2 Best = 0 3 For i = 1 to n 4 do Interview candidate i 5 if candidate i is better than candidate best 6 then best = i 7 Hire candidate best Cost c i - - c h Gentagelser 1 1 n n n m m Hvad nu hvis vi permuterer vores input, så vi aldrig får bedst/værste tilfælde, men altid noget derimellem? Svar: Vi kan nu med sikkerhed benytte resultatet fra tidligere, dvs. T(n) = O(c h Ln(n)) Somme tider er det bedre at kende kompleksiteten med sikkerhed 14

15 Tilfældig permutering af array En generel metode til at permutere et array A[1..n] F.eks. A = {1, 2, 3, 4}, og P = {36, 3, 97, 19} P er en prioritetsnøgle der anvendes til sorteringen B er output vektoren = S(A, P) = {2, 4, 1, 3} (vis koncept på tavlen) En implementering af algoritmen kan se således ud Permute-by-sorting(A) n = length(a) for i = 1 to n do P[i] = Random(1,n 3 ) sort A using P as sort key Algoritmen tager T(n) = Θ(nLog 2 (n)) tid pga. sorteringen i step 4 Nu kan vi så lige hygge os med at kontrollere den også levere en uniform fordelt sortering, der er grundlag for kompleksitetsberegningen 15

16 En anden og bedre metode Randomize-in-place En bedre metode er at permutere på stedet. Random-in-place(A) gør det på O(n) tid Random-in-place(A) 1 n = length(a) 2 for i = 1 to n 3 do swap A[i] with A[Random(i,n)] Producerer en uniformt tilfældig fordelt permutation 16

17 Dagsorden Først lidt om sandsynligheder Indikator funktion Eksempel på anvendelse af indikator funktion Anvendelse til analyse af algoritmer og algoritme kompleksiteter Hyring af salgsmand problemet Genetiske algoritmer Lidt om generering af tilfældige tal Opsummering og konklusioner Opgaver 17

18 Genetiske Algoritmer Charles Darwin publicerede I 1859 The Origin of Species by Means of Natural Selection Den stærkeste overlever! Stærkere gener overlever livets kård Svagere gener uddør Det er miljøet der dikterer hvad vi forstår ved godt eller dårligt helbred Genetiske algoritmer er sandsynlighedsbaserede søge algoritmer 18

19 Det omrejsende rockband (the travelling salesman) problem 19

20 Det omrejsende rockband Begrænsninger der skal tages i betragtning af rock bandet Minimering af tiden brugt i luften/på vejen Minimering af prisen for rejsen i Euro eller DKR Derudover spiller bandet ikke så godt, så derfor Er det ikke nogen god ide at bandet tager tilbage til samme by igen Eksempler: tre tilfældig valgte ture $ : Madrid, Vienna, Moscow, Berlin, Brussels, Munich, Milan, Barcelona, London, Hamburg, Warsaw, Dublin, Kiev, Paris, Rome $ : London, Rome, Brussels, Kiev, Hamburg, Warsaw, Barcelona, Paris, Munich, Dublin, Vienna, Moscow, Madrid, Milan, Berlin $ : Madrid, Milan, Kiev, Vienna, Warsaw, London, Barcelona, Hamburg, Paris, Munich, Dublin, Berlin, Moscow, Rome, Brussels Spørgsmålet er nu: Er en af de ture blandt de bedste vi kan finde, der tager vores begrænsninger i betragtning? Findes der bedre måder at lave turen på? 20

21 Darwin inde i en computer! Overlevende befolkning = Nuværende befolkning + Miljø Ny befolkning = Overlevende befolkning + Næste generation Start Ny befolkning Stop Valg/ Miljømæssigt pres Reproduktion & Mutation En løsning er fundet 21

22 Beskrivelse af vores befolkning, eller væsnet der skal overleve Problemet: Hvordan beskriver vi vores væsen i vores program? Datamatisk beskrivelse af kromosomer. Eksempel med beskrivelse af rock bandets tur Binær beskrivelse til at finde den rigtige retning Turen for rockbandet kunne være {London, Dublin, Paris, Brussels, Hamburg, Berlin, Warsaw,.} der er beskrevet således {1,0,2,3,8,4,5,...} eller binært som {0001,0000,0010,0011,1000,0100,0101,...} Code Decoded Meaning Dublin London Paris Brussels Direction codes 22

23 Beskrivelse af helbredet Jo bedre form væsnet er i, jo større sandsynlighed har det for at overleve Et væsens helbred er individuelt til problemet der skal løses Et eksempel: Rockbandets tur En parameter er rejsetiden Vi definerer en matrix der beskriver rejsetiden mellem byerne En parameter der beskriver turen i Euro Vi definerer en matrix der beskriver rejseprisen mellem byerne En cost funktion kan defineres N C = w p pricei + wt i= 1 time Helbreddet kunne defineres således i F London Berlin Warsaw London Berlin Warsaw 1 = C London 0 1.5h 2.5h London Berlin 1.5h 0 0.5h Berlin Warsaw 2.5h 0.5h 0 Warsaw

24 Skabelsen af et samfund af væsner Initiering af algoritmen ved at definere N antal væsner Et væsens genome er beskrevet af en række kromosomer Et væsens genome værdier kan baseres på Tilfældigt valgte værdier blandt gyldige kromosomer Kvalificerede initierende gæt En kombination af de to Dette er vores initierende befolkning New population Start Stop Selection/ Environment press Reproduction & mutation 24

25 Vedligeholdelse af population I første iteration er der ikke meget at vedligeholde - Befolkningen består af den initierende bestand Efter første iteration dannes en befolkning af den overlevende befolkning, plus den nye generation New population Start Stop Selection/ Environment press Reproduction & mutation 25

26 Hvem vil overleve vores fjendtlige miljø? Først beregner vi overlevelsesevnen for hvert væsen Hvis, der eksisterer en løsning på vores problem (mere eller mindre), så stopper legen her (overlevelsesevnen er stor nok ) Lidt upolitisk korrekt, men elitisme er et koncept der Sikrer at vores bedste væsner altid får reproduceret sig selv Udrensning af de værste væsner Men vær lidt forsigtig med elitisme Populationen bliver nemt for homogen til at sikre sig en videre evolutionær udvikling! New population Start Stop Selection/ Environment press Reproduction & mutation 26

27 Reproduction er en tilfældig process Hvem skal parre sig med hvem? Overfladen er bestemt ved Drrrrr rrrr rrr Det er basalt set et spil roullette overlevelsesevnen af de Tik tik tik tik tik individuelle væsner i forhold til den totale masse. Jo bedre overlevelsesevne, jo større areal, jo større chance 1 for at blive valgt til 2 3 reproduktion New population Start Stop Selection/ Environment press Reproduction & mutation 27

28 Og nu til selve reproduktionsakten Når nu to par har fundet sammen, så vil de have nogle børn Et eksempel på hvordan en søn/datter er skabt Mor {10,11,10,01,01,01} + Far {11,11,10,01,10,11} {01,10,11,10,11,10} Nyt barn Der findes forskellige metoder til at krydse kromosoner Delvist afbildning af krydsning Alternativ positionering af krydsning Maksimal bevarelses krydsning Og mange andre 28

29 Mutant børn Mutation af kromosomer i børnene er anvendt for at sikre forskelligheder i befolkningen Tilfædig ændring af kromosomer og genomer, eksempel: Mor {10,11,10,01,01,01} + Far {11,11,10,01,10,11} {01,10,11,10,11,10} Nyt barn {01,11,11,10,11,00} Nyt muteret barn Ugyldige mutationer bør fjernes, eller som minimum håndteres på en eller anden måde af algoritmen Hastigheden/hyppigheden hvormed der sker mutationer, har en indflydelse på hvor hurtigt en løsning kan opnås, men ved for lav rate risikerer man at der ikke sker nok ved for høj rate risikerer man at der sker for meget 29

30 Udfordringer og fordele ved genetiske algoritmer Genetiske algoritmer er brugbare hvis Et givent problem kan specificeres i forhold til et set af parametre og der kan defineres en fornuftig cost/helbreds værdi Hvis der er for mange parametre til fuldstændigt at udforske parameter rummet indenfor rimelig tid Men, men, men Genetiske algoritmer kan ikke presses ned over alle typer problemer, selv dem der ser relevante ud Det kan være meget svært at definere en fornuftig beskrivelse af et væsen Det kan være meget svært at definere en fornuftig helbredsfunktion Det er ikke garanteret at en optimal løsning for et givet problem bliver fundet 30

31 Dagsorden Først lidt om sandsynligheder Indikator funktion Eksempel på anvendelse af indikator funktion Anvendelse til analyse af algoritmer og algoritme kompleksiteter Hyring af salgsmand problemet Genetiske algoritmer Lidt om generering af tilfældige tal Opsummering og konklusioner Opgaver 31

32 Dannelse af tilfældige tal Er en videnskab i sig selv Dannede sekvenser af tal skal opfylde en mængde statistiske krav for at være uafhængige Hvad er tilfældighed? Noget af et filosofisk spørgsmål. Hvordan opnår vi tilfældighed i en computer? Eksempler: måling af støj fra zener dioder, tidsinterval mellem partikel ankomst ved radioaktiv nedbrydelse af materiale, Atmosfærisk og termisk støj Hvad er pseudotilfældige tal, og hvorfor har vi dem? Tal der er generet af deterministiske algoritmer, der overholder de givne statiske krav Fordelen er at en given rækkefølge kan gentages 32

33 Et eksempel på hvor dyrt og besværligt det kan være En bestemt type mikrochips har indbygget en hardware Random Number Generator (RNG) der består af Fire uafhængig kørende oscillators med hver forskellig hastighed Output fra de to af dem er XOR et og dette signal benyttes til at kontrollere bias på den trejde oscillator Output fra den trejde oscillator bruges til at clocke den fjerde oscillator der producerer de rå bits Varme variationer, silikone variationer samt lokale elektriske betingelser sikrer forskelligheden i de fire oscillatorer, der igen sikrer tilfældighed Derudover har chipsene indbygget endnu en RNG af samme type, og det endelige output er en blanding af de to RNG s!!! Så ja, det er noget af en videnskab at lave tilfældige tal!! 33

34 Dagsorden Først lidt om sandsynligheder Indikator funktion Eksempel på anvendelse af indikator funktion Anvendelse til analyse af algoritmer og algoritme kompleksiteter Hyring af salgsmand problemet Genetiske algoritmer Lidt om generering af tilfældige tal Opsummering og konklusioner Opgaver 34

35 Opsummering og konklusion Vi så i dag på random algoritmer, for hvilket indikator funktionen spiller en væsentlig rolle 1 I( A) = 0 hvis A er sket hvis A ikke er sket Anvendes bl.a. til estimering af sandsynligheder Verificering af stokastiske modeller Analyse af kompleksitet ved anvendelse af indikator funktion Andre eksempler på anvendelse af tilfældigheder til løsning af problemer Konceptuel gennemgang af genetiske algoritmer Endelig et par ord om generering af tilfældige tal Det er ikke nødvendigvis simpelt at genere gode tilfældige tal! 35

36 Dagsorden Først lidt om sandsynligheder Indikator funktion Eksempel på anvendelse af indikator funktion Anvendelse til analyse af algoritmer og algoritme kompleksiteter Hyring af salgsmand problemet Genetiske algoritmer Lidt om generering af tilfældige tal Opsummering og konklusioner Opgaver 36

37 Dagens hik 37

38 Opgaver Gennemgå eksempel 5.4.2, eller på tavlen Øvelse 5.4-1, 5.4-3, Problem