Hvem er jeg? Markovkæder og kodesprog. Kommentarer. Opbygningen af studiet. En uge på studiet. Kommentarer. Hvor får man arbejde som statistiker?

Transkript

1 Hvem er jeg? Britta Anker Bak, 23 år Markovkæder og kodesprog Britta Anker Bak Skolegang på Mors og Thylands Ungdomsskole. Matematisk student fra Morsø Gymnasium i år Fandt i 3. g ud af, jeg ville være statistiker. Flytttede derfor til Århus efter gymnasiet og begyndte på matematikstudiet. Læser nu på 4. år, på kandidatuddannelsen i statistik. Bor på kollegium, strikker og er politisk aktiv. (statistik) 1 / 120 (statistik) 2 / 120 Opbygningen af studiet Sammenhængen mellem matematik- og statistikstudiet. Jobmuligheder indenfor matematik. (statistik) 3 / 120 (statistik) 4 / 120 En uge på studiet (statistik) 5 / 120 (statistik) 6 / 120 Hvor får man arbejde som statistiker? Det private erhvervsliv - et hav af muligheder: Handel Banker Konsulent- og rådgivningsvirksomhed Medicinalindustri Sundhed Forskning: Universiteter Interesseorganisationer Private virksomheder Undervisning: Gymnasier Handelsskoler Seminarer Ikke Gallup! (statistik) 7 / 120 (statistik) 8 / 120

2 Hvorfor er statistik og sandsynlighedsteori interessant? Kan forudsige fremtiden Kan bruges som beslutningsgrundlag: Politik Aktiekurser Medicinske forsøg Risikovurdering Spilteori Anvendes inden for forskning på nærmest alle områder. (statistik) 9 / 120 (statistik) 10 / 120 Resultater af statistik... I perioden faldt antallet af fødsler, samtidig med at antallet af storkepar i Danmark faldt. Drukneulykker og issalg hænger sammen: Når der sælges mange is, er der mange der drukner! Bør der investeres mere i rynkecreme? Der er en overdødelighed blandt folk med rynker! (statistik) 11 / 120 (statistik) 12 / 120 Lidt historie I 1600-tallet blev sandsynlighedsregningen opfundet for at beregne sandsynligheder i spil. I løbet af 1900-tallet blev sandsynlighedsteorien væsentlig udvidet til en avanceret integralteori, især gennem Andrey Kolmogorovs arbejde. De tidlige skabere af ssteorien var: Gerolamo Cardano, Pierre de Fermat and Blaise Pascal, Christiaan Huygens. Integralteorien gør det muligt at se på fordelinger, der ikke bare har sandsynlighed i et antal punkter - I kender måske normalfordelingen? I forbindelse med udviklingen af computere er det blevet muligt at udføre statistiske undersøgelser gennem store simulationer. (statistik) 13 / 120 (statistik) 14 / 120 Ideen bag simulationer Opstil model for virkeligheden Simuler fra denne model. Se om modellen passer med virkeligheden. Nej Find en anden model. Ja Prøv om du kan finde en model der er endnu bedre! (statistik) 15 / 120 (statistik) 16 / 120

3 I et britisk fængsel blev fundet tekst i kodesprog: Dette er blot et uddrag af teksten. Fængselspersonalet var interesseret i, hvad teksten betød. (statistik) 17 / 120 (statistik) 18 / 120 De gik ud fra, hvert symbol svarede til et tegn i det almindelige engelske alfabet (bogstaver, tal, tegnsætning mm). Hvis blot de 26 bogstaver, punktum og mellemrum er med, vil antallet af muligheder være: 28! = = Kan det løses? Kan det gøres hurtigt? (statistik) 19 / 120 (statistik) 20 / 120 Løsningsmetode 1 Ansæt kinesere til at forsøge alle muligheder. (statistik) 21 / 120 (statistik) 22 / 120 Problem 1: Der er ca. 1.3 mia kinesere i verden. De skal tjekke over mia. hver! Problem 2: Vi kommer til at mangle plastikvarer, teknik, møbler osv. (statistik) 23 / 120 (statistik) 24 / 120

4 Løsningsmetode 2 1 Tæl antallet af hvert tegn i teksten. 2 Stil i rækkefølge efter hyppighed. 3 Oversæt det hyppigste tegn til det mest anvendte engelske bogstav, det næsthyppigste tegn til det næstmest anvendte bogstav osv. 4 Giver det ikke en læselig tekst, byttes lidt rundt. Problem: Der er fortsat mange muligheder, kræver MEGET held! (statistik) 25 / 120 (statistik) 26 / 120 Løsningsmetode 3 Snak med en statistiker! Fængselspersonalet kontaktede statistikeren Marc Coram på Stanford University. Før vi hører om hans løsning, må vi have styr på nogle matematiske og sandsynlighedsteoretiske begreber. (statistik) 27 / 120 (statistik) 28 / 120 Vektorer I kender vektorer: x = ( x1 Denne vektor vil ligge i det to-dimensionale rum R 2, også kaldet planen. Den kan tegnes den på et stykke papir. Der er også forestille sig en vektor i det tre dimensionale rum R 3 : x 2 x 1 ) x = x 2 x 3 Tilsvarende er vektorer i det n-dimensionale rum R n : x 1 x 2 x =. x n Ved oplæg for et statistik-c hold, kan der dog være tilhørere, der kun har matematik B og dermed ikke kender vektorer. Hvis der er en tavle til rådighed, tegnes nogle taleksempler på vektorer i R 2. (statistik) 29 / 120 (statistik) 30 / 120 Vektorer Prikproduktet ganger to vektorer af samme dimension sammen: 2 a = b = 1 7 a b = = 11 (statistik) 31 / 120 (statistik) 32 / 120

5 Matricer En matrix er flere vektorer sat op ved siden af hinanden, fx: ( ) A = A er en 2 3-matrix (antal rækker antal søjler). (statistik) 33 / 120 (statistik) 34 / 120 Matricer To matricer kan ganges sammen, hvis antallet af søjler i den første matrix er det samme som antallet af rækker i den anden. Fx: ( ) A = B = ( ) ( 1) + 5 ( 3) A B = ( 1) + 2 ( 3) ( ) 7 18 = 9 13 Regn evt på tavle i stedet B A = (statistik) 35 / 120 (statistik) 36 / 120 Matricer Lad nu: Da er C = ( ) C B = ( ) = ( 8 1 ) 0 3 C A, A C og B C eksisterer ikke. (statistik) 37 / 120 (statistik) 38 / 120 Matricer Hvis A er en kvadratisk matrix, kan den ganges med sig selv - så mange gange man ønsker det: ( ) 2 1 A = 1 1 ( ) ( ) ( ) A = A A = = ( ) ( ) ( ) A 3 = A A = = A n = A A A }{{} n gange (statistik) 39 / 120 (statistik) 40 / 120

6 Opgaver Afgør hvilke af følgende matricer der kan ganges sammen. Regn hvor det er muligt. ( ) a) b) 6 4 (1 2 3 ) c) ( ) ( ) d) Regnes af tilhørerne på papir. (statistik) 41 / 120 (statistik) 42 / 120 Resultater a) ( ) b) Ikke mulig c) ( ) d) (statistik) 43 / 120 (statistik) 44 / 120 Markovkæder En sandsynlighedsvektor har alle indgange 0 og summen af dem er 1, fx: 1/ /6 x = 0.4 y = 1/ /6 1/6 1/6 y kan anses for at være sandsynligheder for terningekast. En matrix hvor alle rækker er sandsynlighedsvektorer, kaldes en stokastisk matrix. (statistik) 45 / 120 (statistik) 46 / 120 Markovkæder En markovkæde er en proces, hvor sandsynlighederne for at bevæge sig imellem de mulige tilstande er givet ved en stokastisk matrix M. En markovkæde er glemsom - hvor man vil befinde sig i fremtiden afhænger ikke af fortiden, men kun hvor man er nu. Antag der er k forskellige tilstande, kaldet y 1, y 2, y 3,..., y k 1, y k. M kaldes matricen af overgangssandsynligheder og er en k k-matrix. Hvis man befinder sig i tilstand y i, angiver M(i, j), den j te plads i i te række af M, sandsynligheden for at gå til tilstanden y j i næste trin: P(X 1 = y j X 0 = y i ) = M(i, j) (statistik) 47 / 120 (statistik) 48 / 120

7 Markovkæder P(X 2 = y j X 0 = y i ) = P(X 2 = y j X 1 = y 1, X 0 = y i ) P(X 1 = y 1 X 0 = y i ) + P(X 2 = y j X 1 = y 2, X 0 = y i ) P(X 1 = y 2 X 0 = y i ) + + P(X 2 = y j X 1 = y k, X 0 = y i ) P(X 1 = y k X 0 = y i ) = P(X 2 = y j X 1 = y 1 ) P(X 1 = y 1 X 0 = y i ) + P(X 2 = y j X 1 = y 2 ) P(X 1 = y 2 X 0 = y i ) + + P(X 2 = y j X 1 = y k ) P(X 1 = y k X 0 = y i ) = M(1, j) M(i, 1) + M(2, j) M(i, 2) + + M(k, j) M(k, 1) = M(i, 1) M(1, j) + M(i, 2) M(2, j) + + M(i, k) M(k, j) = M 2 (i, j) Ved anden lighed er udnyttet, at processen er uafhængig af fortiden givet nutiden. (statistik) 49 / 120 (statistik) 50 / 120 Markovkæder Tilsvarende fås sandsynligheden for at befinde sig i tilstand j efter n trin: P(X n = y j X 0 = y i ) = M n (i, j) (statistik) 51 / 120 (statistik) 52 / 120 Eksempel: Kaninhop Forestil dig en kanin, der hopper rundt mellem tallene {1, 2, 3, 4, 5, 6, 7, 8}. Kaninen har intet ur eller hukommelse. Jørgen Hoffmans berømte eksempel fra modellering 2, reduceret til en endelig situation, for at kunne opskrive en konkret matrix. Den slår plat og krone før hvert hop. Slår den krone, hopper den et tal frem. Slår den plat, hopper den et tal tilbage. Kan den ikke kan hoppe længere, bliver den hvor den er. (statistik) 53 / 120 (statistik) 54 / 120 Eksempel: Kaninhop Sandsynlighederne for at komme fra et tal til et andet er: /2 1/ /2 0 1/ /2 0 1/ /2 0 1/ /2 0 1/ /2 0 1/ /2 0 1/ /2 1/2 Det er naturligvis kun det indre af tabellen, der er overgangsmatricen. Tabellen kan ses som en 8 8-matrix, der er stokastisk. (statistik) 55 / 120 (statistik) 56 / 120

8 Kaninhop - øvelse Start i 1 og slå 10 gange med en mønt. Hvor ender du? Sandsynligheden for at ende i fx 5 er: P(X 10 = 5 X 0 = 1) = M 10 (1, 5) Øvelsen tænkes gennemført af tilhørerne. Matricen M er tabellen fra foregående slide. (statistik) 57 / 120 (statistik) 58 / 120 Eksempel: Befolkning i storbyer Forestil dig en storby med indbyggere. 30% bor i centrum, de resterende 70% i forstæderne. Hvert år vil 6% af indbyggerne i centrum flytte til forstæderne, mens 2% af indbyggerne i forstæder flytter til centrum. ( ) A = x = ( ) Fordelingen af indbyggere efter et år vil være: x 1 = x 0 A = ( ) Tilsvarende fås: og På denne måde beregnes: x 2 = x 1 A = x 0 A A = x 0 A 2 x n = x 0 A n x 10 = ( ) x 30 = ( ) x 50 = ( ) (statistik) 59 / 120 Eksemplet er taget fra lineær algebrabogen: Steven Lyon, Linear Algebra s Regn gerne de første multiplikationer på tavle. Bemærk pilen er forsvundet over vektorer, og vil være det gennem resten af oplægget. (statistik) 60 / 120 Stationære fordelinger Det ser ud til, fordelingen af indbyggere på et tidspunkt holder op med at forandre sig. Denne fordeling vil kaldes markovprocessens stationære fordeling, og vil ikke afhænge af start-fordelingen x 0. Bemærk: ( ) ( ) = ( ) Dette vil altid gælde for en stationær fordeling. Kaldes den stationære fordeling π = (π 1, π 2,..., π n ) kan dette skrives: π A = π (statistik) 61 / 120 (statistik) 62 / 120 Eksempel: Blaffetur Du vil blaffe rundt i din ferie. Næste destination bestemmes ved terningekast. Paris, hvis der slås et eller seks. Ringkøbing, hvis der slås to. Prag, hvis der slås tre. Warszawa, hvis der slås fire eller fem. Skal du hen, hvor du allerede er, tager du i stedet hjem og bliver der. (statistik) 63 / 120 (statistik) 64 / 120

9 Eksempel: Blaffetur Matricen af overgangssandsynligheder: Paris Ringk. Prag War Hjem Paris 0 1/6 1/6 2/6 2/6 Ringk. 2/6 0 1/6 2/6 1/6 Prag 2/6 1/6 0 2/6 1/6 War 2/6 1/6 1/6 0 2/6 Hjem Startes i Paris, dvs på vektorform: x 0 = ( ) Da den stationære fordeling ikke afhænger af startfordeling, kan du altså regne med at komme hjem, uanset hvor du starter. Evt kan man som i kanineksemplet lade tilhørerne slå 10 gange med en terning. og kaldes overgangsmatricen A vil: x 0 A 10 = ( ) Altså er man næsten sikker på at være hjemme efter 10 terningeslag. (statistik) 65 / 120 (statistik) 66 / 120 Jeg vender tilbage til problemet med den krypterede tekst. Statistikeren Marc fra Stanford University betragter oversættelsen fra kodesprog til almindeligt alfabet som en funktion: så der fx. kan gælde: f : {kodesprog} {britisk alfabet} De her opskrevne symboler stammer ikke rent faktisk fra kodeteksten, men var blot nogle mærkelige symboler jeg fandt i latex. f ( ) = c f ( ) = e f ( ) = m (statistik) 67 / 120 (statistik) 68 / 120 Som tidligere nævnt er der over forskellige muligheder for f. Marc ønsker at finde den mest sandsynlige f. Antallet for f kommer fra slide 11. (statistik) 69 / 120 (statistik) 70 / 120 Derfor downloader han bogen Krig og fred. (statistik) 71 / 120 (statistik) 72 / 120

10 Heri får han en computer til at tælle antallet af hver kombination af to på hinanden følgende bogstaver og tegn. Betragt teksten: Der ligger et hus. Gennemfør gerne (noget af) denne optælling på tavle. Skrives mellemrum med _ er i det ovenstående følgende kombinationer: de; er (2 gange), et; ge; gg; hu; ig; li; r_ (2 gange); s.; t_; _e; _h; _l (statistik) 73 / 120 (statistik) 74 / 120 Dernæst betragtes alle a er i bogen (medmindre det er bogens allersidste tegn). Marc finder: antal a er der efterfølges af a antal a er i alt antal a er der efterfølges af b antal a er i alt. = a = b Husk tilhørerne næppe kender notationen #. At det er en sandsynlighedsvektor skyldes, at alle a er (der ikke er bogens absolut sidste tegn) må efterfølges af et eller andet, så den samlede andel bliver 1. Disse sættes ind i en lang vektor: Dette er en sandsynlighedsvektor. ( a, b, c,..., _,,,. ) (statistik) 75 / 120 (statistik) 76 / 120 Tilsvarende findes vektorerne: ( #ba #b, #bb #b, #bc #b,..., #b_ #b, #b, #b, #b. ) #b. ( #.a #., #.b #., #.c #.,..., #._ #., #., #., #.. ). #. (statistik) 77 / 120 (statistik) 78 / 120 Vektorerne sættes op i en stor, kvadratisk matrix: a #ba #b M =. #.a #. Dette er en stokastisk matrix b #bb #b #.b #. c..., _ #bc #b..., #b_ #b #.c #...., #._ #., #b, #b #., #. skift fra et bogstav til det næste er en markovkæde.. #b. #b #.. #. Angående problemet med markovantagelsen: På dansk vil e fx ofte efterfølges af r, hvis der er d foran. (Uden jeg dog har undersøgt om det vil forekomme relativt oftere). Marc kan dog ikke være sikker på, at sandsynlighederne for det næste bogstav, ikke afhænger af de foregående. Han vælger at ignorere dette. (statistik) 79 / 120 (statistik) 80 / 120

11 Marc sætter: symbol i = Det i te symbol i kodebeskeden n kode = Antal symboler i kodebeskeden Nu betragter Marc mængden: f : {kodesprog} {britisk alfabet} Bemærk n kode er det samlede antal symboler i koden - ikke antallet af forskellige symboler. og vælger en tilfældig f herfra. Med denne oversættes koden til det almindelige alfabet. På denne måde fås en (sandsynligvis meningsløs) tekst med almindelige bogstaver: f (symbol 1 )f (symbol 2 ), f (symbol 3 )... f (symbol nkode 1)f (symbol nkode ) (statistik) 81 / 120 (statistik) 82 / 120 I M aflæses sandsynligheden for, at de første to bogstaver vil følge efter hinanden ved at kigge på M(f (symbol 1 ), f (symbol 2 )) og tilsvarende gennem resten af teksten. Dette kan anses som en sandsynlighed for hver bogstavkombination. Disse ganges sammen: P(f ) = M(f (symbol 1 ), f (symbol 2 )) M(f (symbol 2 ), f (symbol 3 )) M(f (symbol nkode 1), f (symbol nkode )) (statistik) 83 / 120 (statistik) 84 / 120 Hvis vil blive til f ( ) = s f ( ) = e f ( ) = h f ( ) = t seteh og P(f ) = M(s, e) M(e, t) (M(t, e) M(e, h) Marc er interesseret i at finde det f med den største sandsynlighed. (statistik) 85 / 120 (statistik) 86 / 120 Opgave Oversæt med f ( ) = s f ( ) = e f ( ) = h f ( ) = t Svaret er hest. (statistik) 87 / 120 (statistik) 88 / 120

12 Marc opbygger en algoritme, bygget over metropolis-algoritmen. 1 Start med en tilfældig f. 2 Lav en ny oversættelsesfunktion f ved at ændre på betydningen af to symboler i f. 3 Oversæt symbolteksten vha. f og beregn P(f ). 1 Hvis P(f ) > P(f ) startes fra trin 2 med f = f. 2 Hvis P(f ) P(f ) slås plat og krone om f eller f skal bruges. Hernæst gås til trin 2. Hvis sandsynligheden af f er større, vil den accepteres. Hvis sandsynligheden er mindre, vil den måske accepteres alligevel. Derved undgås at blive fanget i lokale maksimum. Dette kunne umuliggøre at finde det globale maksimum. (statistik) 89 / 120 (statistik) 90 / 120 f fra før kan fx ændres til f ( ) = s f ( ) = a f ( ) = h f ( ) = r. Så vil blive til sarah. Her er netop ændret på betydningen af de to symboler og. (statistik) 91 / 120 (statistik) 92 / 120 Interessante spørgsmål: Virker algoritmen? Hvis ja, hvornår skal den stoppes? For at undersøge dette, programmerer Marc algoritmen på en computer. Efterfølgende tester han den på en kendt tekst, et uddrag af Shakespeares Hamlet. Her byttes tilfældigt om på bogstavernes betydning. Algoritmen anvendes på denne ombytning. I eksemplet med Hamlet består kodesproget altså af det almindelige alfabet, blot med bogstavernes betydning ombyttet tilfældigt. (statistik) 93 / 120 (statistik) 94 / 120 Tallene i venstre side angiver, antallet af gange algoritmen er forløbet. (statistik) 95 / 120 (statistik) 96 / 120

13 Metoden ser ud til at virke - endda ret hurtigt! Marc anvender efterfølgende computerprogrammet på fængselsteksten. (statistik) 97 / 120 (statistik) 98 / 120 (statistik) 99 / 120 (statistik) 100 / 120 Denne tekst giver mening og foregår i et fængsel. Den må være korrekt! Algoritmen var bygget på bogstavfrekvenser i War and Peace Overraskende den virker på teksten, der viser sig at være en blanding af engelsk, spansk og fængsels-slang. Denne tekst giver mening og foregår i et fængsel. Den må være korrekt! Algoritmen var bygget på bogstavfrekvenser i War and Peace, derfor overraskende den virker på teksten, der viser sig at være en blanding af engelsk, spansk og fængsels-slang. Det viser det sig, der ikke var nogen problemer i at antage uafhængighed af foregående bogstaver på slide 38. Ifølge Diaconis har mennesker dog lavet en lille smule korrektur på teksten efterfølgende. (statistik) 101 / 120 (statistik) 102 / 120 (statistik) 103 / 120 (statistik) 104 / 120

14 Metropolis-algoritmen Jeg vil nu kigge nærmere på metropolis-algoritmen, der anvendtes til at finde den bedste oversættelses-funktion f. Den blev første gang publiceret i 1953, og har siden fundet anvendelse i mange matematiske, kemiske og fysiske sammenhænge. Er der tidsnød, er det dette afsnit der skal skæres fra, da det nok er de færreste der vil forstå ret meget af det. (statistik) 105 / 120 (statistik) 106 / 120 Metropolis-algoritmen Antag der er n kode forskellige symboler i kodesproget og n alfabet forskellige tegn i alfabetet og de øvrige tegn (tal, mellemrum, punktum osv.) i det virkelige sprog. Antag n kode n alfabet. Betragt rummet: F = { f : {kodesprog} {britisk alfabet} } Antallet af funktioner i rummet vil være: Angående beregningen af n funktion : Det første symbol kan vælges mellem n alfabet forskellige tegn, det andet symbol mellem n alfabet 1, osv. idet det antages, to symboler ikke kan betyde det samme tegn. n funktion = n alfabet (n alfabet 1)(n alfabet 2) (n alfabet (n kode 1)) = n alfabet (n alfabet 1)(n alfabet 2) (n alfabet n kode + 1) (statistik) 107 / 120 (statistik) 108 / 120 Metropolis-algoritmen Vælges tilfældigt f i F vil antallet af funktioner, der højst afviger fra f på to symboler være: ( ) nkode (n alfabet (n kode 2)) (n alfabet (n kode 1)) 2 n = kode! (n kode 2)!2! (n alfabet n kode + 2)(n alfabet n kode + 1) = n kode (n kode 1) (n kode 2) 2 1 ((n kode 2)(n kode 1) 2 1) 2 (n alfabet n kode + 2)(n alfabet n kode + 1) ( n kode 2 ) er antallet af kombinationer af to symboler, der kan ændres. n alfabet (n kode 2) er antallet af ledige tegn i alfabetet, det første symbol kan ændres til. (Bemærk det kan ændres tilbage til sin forhenværende værdi dermed kan f godt afvige fra f på mindre end to pladser.) n alfabet (n kode 1) er antallet af ledige tegn i alfabetet det andet symbol kan ændres til. I Diaconis går 1 2 ud. Jeg kan ikke se hvorfor, derfor har jeg valgt at beholde det. = 1 2 n kode (n kode 1) (n alfabet n kode + 2)(n alfabet n kode + 1) (statistik) 109 / 120 (statistik) 110 / 120 Metropolis-algoritmen At vælge f ud fra f vil være en Markovkæde. Kald matricen af overgangsssandsynligheder J. Hvis f og f højst er forskellige på to symboler er: J(f, f 1 ) = 1 2 n kode (n kode 1) (n alfabet n kode + 2)(n alfabet n kode + 1) Ellers er J(f, f ) = 0. Der gælder: At det er en markovkæde skyldes, at man kan opskrive en stokastisk matix med overgangssandsynlighederne, og fremtiden er åbenlyst uafhængig af fortiden, blot nutiden kendes. Det første J(f, f ) er blot en uniform sandsynlighed på de mulige f, der opnås ved at dividere med det netop udledte antal af disse. J(f, f ) > 0 J(f, f ) > 0 (statistik) 111 / 120 (statistik) 112 / 120

15 Metropolis-algoritmen Der ønskes i stedet en Markovkæde, der har en stationær fordeling proportionel med sandsynligheden for den pågældende f, defineret ud fra optællingen af bogstavskombinationer i War and Peace. Dette vil betyde at efter mange trin er der størst sandsynlighed for at have en oversættelsesfunktion, der svarer til hvordan bogstaver sædvanligt er kombineret i det engelske sprog. Husk: P(f ) = M(f (symbol 1 ), f (symbol 2 )) M(f (symbol 2 ), f (symbol 3 )) M(f (symbol nkode 1), f (symbol nkode )) Det tal, der er den stationære sandsynlighed netop for f kaldes π(f ). Der gælder: π(f ) = P(f ) konstant hvor konstanten er valgt så π bliver en sandsynlighedsvektor. (statistik) 113 / 120 (statistik) 114 / 120 Metropolis-algoritmen Hvor J(f, f ) = 0 sættes: A(f, f ) = π(f ) J(f, f ) π(f ) J(f, f ) Sæt: J(f, f ) hvis f = f, A(f, f ) 1 K (f, f ) = eller J(f, f ) = 0 J(f, f ) A(f, f ) hvis f = f, A(f, f ) < 1 Når A(f, f ) kommer i spil, bliver det altså til en Monte-Carlo simulation. K (f, f ) fastsættes, så rækkerne i K bliver sandsynlighedsvektorer. A(f, f ) kan betragtes som andelen af foreslåede skridt fra f til f, der accepteres. Hvor A(f, f ) 1 vil denne andel være 1. (statistik) 115 / 120 (statistik) 116 / 120 Metropolis-algoritmen Hvis A(f, f ) < 1 vil A(f, f ) 1 og dermed: K (f, f ) = J(f, f )A(f, f ) = J(f, f ) π(f ) J(f, f ) π(f ) J(f, f ) = π(f ) J(f, f ) π(f ) = π(f ) K (f, f ) π(f ) π(f ) K (f, f ) = π(f ) K (f, f ) π(f ) K (f, f ) = π(f ) K (f, f ) er en anden måde at definere en stationær fordeling. Dette gælder også i de øvrige tilfælde. Det vil svare til: π K = π Altså vil markovkæden defineret ved K have stationær fordeling π som ønsket. (statistik) 117 / 120 (statistik) 118 / 120 Metropolis-algoritmen Det betyder, at efter mange trin vil algoritmen med stor sandsynlighed befinde sig i en oversættelsesfunktion f, der giver teksten en høj grad af mening (hvis en sådan eksisterer). Giver algoritmen ikke noget meningsgivende, kan det skyldes, kodningen har en mere kompliceret opbygning. (statistik) 119 / 120 (statistik) 120 / 120

16 Tak for i dag Spørgsmål? (statistik) 121 / 120 (statistik) 122 / 120