Plan. Markovkæder Matematisk modelling af kølængde, yatzy, smittespredning og partikelbevægelser. Materiale mm.

Transkript

1 Institut for Matematiske Fag Plan Markovkæder Matematisk modelling af kølængde, yatzy, smittespredning og partikelbevægelser Helle Sørensen Eftermiddagen vil være bygget om 3 4 eksempler: A. B. Random walk (partikelbevægelse). Opgaver C. Yatzy. Kun overfladisk. D. Smittespredning. Meget kort hvis vi overhovedet når det Vil veksle mellem præsentation fra mig og opgaveregning. NAT-workshop, 28 februar 20 Dias 2/38 Materiale mm. A. Disse slides Svært at finde velegnet materiale på dansk. Fremragende lille bog på engelsk: Finite Markov Chains and Algorithmic Applications af Olle Häggström. Se evt. item6979/?site_locale=en_gb En smule Maple i dag. Institut for Matematiske Fag Hjemsted for uddannselserne Matematik, Matematik-Økonomi, Forsikringsvidenskab (Aktuar), Statistik Gymnasietilbud, se Vi betragter længden af køen ved kassen i banken/kiosken/... Til hvert tidspunkt kan der ske en af følgende tre ting: En ekspedition slutter (hvis der er en i gang) Der ankommer en ny kunde. Hvis der allerede er k kunder i kø, går kunden igen. Ellers stiller kunden sig i kø. Ingenting Lad X n være antal personer i køen til tid n for n = 0,,2,... De tre hændelser svarer til at X n+ er lig X n, X n +, eller X n, Vi vil lave en model for hvordan X ændrer sig. Tilfældigt hvad der sker, så vi skal have en stokastisk model. Dias 3/38 Dias 4/38

2 A. Tilstandsrum og overgangsgraf De mulige værdier for X n er 0,,2,...,k. Mængden S = {0,,2,...,k} kaldes tilstandsrummet for X n. Overgangsgrafen illustrerer de mulige overgange mellem tilstande: 0 2 k 2 k k I modellen skal vi beskrive hvor sandsynlige de forskellige overgange er. A. Markovegenskaben Længden af køen til tidpunkt n + afhænger kun af to ting: Antallet at kunder til tid n: i Den tilfældige hændelse til tid n + : ekspedition slutter, kunde ankommer (og bliver), ingenting. Forhistorien er derimod ligegyldig. Det er ligegyldigt hvordan det er kommet for sig at der er s kunder i køen til tid i. Denne egenskab kaldes for markovegenskaben. Fremtiden afhænger kun af fortiden via nutiden. Formelt, formulerer vi dette vha. betingede sandsynligheder: P(X n+ = j X 0 = i 0,X = i,...,x n = i) = P(X n+ = j X n = i) Hvis dette er opfyldt kaldes (X 0,X,X 2,...) en markovkæde. Dias 5/38 Dias 6/38 A. Homogen markovkæde A. Overgangssandsynligheder Vi antager at udviklingen i køen kan beskrives med den samme model til alle tidspunkter, dvs. at P(X n+ = j X n = i) ikke afhænger af tidspunktet n, men kun af i og j. Hvis dette er opfyldt kaldes (X 0,X,...) en homogen markovkæde. Definer Q ij = P(X n+ = j X n = i). Hvordan ser disse overgangssandsynligheder ud? Antag at der ankommer en ny kunde med sandsynlighed p, og at en ekspedition slutter med sandsynlighed q. Begge dele kan ikke ske på en gang. Hvis X n = 0, så bliver X n+ = med sandsynlighed p og X n+ = 0 med sandsynlighed p Hvis X n = k, så bliver X n+ = k med sandsynlighed q og X n+ = k med sandsynlighed q: Hvis X n = i hvor i / {0,k}, så bliver X n+ = i + med sandsynlighed p, X n+ = i med sandsynlighed q, og X n+ = i med sandsynlighed p q. Dias 7/38 Dias 8/38

3 A. Overgangsmatrix Overgangssandsynligh. samles i en matrix, overgangsmatricen. Element (i,j) er lig P(X n+ = j X n = i), altså sandsynligheden for at gå til tilstand j hvis man er i tilstand i. Q = p p q p q p q p q p q p q p q q Egenskaber ved Q: Alle elementer er 0. Alle rækkesummer er A. Tilfældet k = 3 Antag at k = 3 svarende til at kunder går hvis der er 3 personer i køen allerede. Så er tilstandsrummet {0,, 2, 3} og overgangsmatricen er Q = p p 0 0 q p q p 0 0 q p q p 0 0 q q Resten af tiden med dette eksempel arbejder vi med k = 3. Dias 9/38 Dias 0/38 A. Simulation A. Algoritme Lad os prøve at simulere nogle forløb af markovkæden, dvs. imitere processen hvormed kæden udvikler sig. Kæden starter in 0, dvs. X 0 = 0. Tre forskellige værdier for sandsynlighederne: (p, q) lig (0.5, 0.3), (0.25, 0.6), (0.5, 0.5) Har brug for at kunne generere tilfældigheder. Hvordan? Fysisk : terninger, mønter,... Tilfældige tal genereret af en computer, fx. i Maple Algoritme til simulation af X 0,...,X N.. Lad X 0 = 0 og Y 0 = X 0 + = 2. Sæt gammel lig. 3. For n = 0,...,N : Vælg ny efter fordel. givet ved række nummer gammel i Q. Sæt gammel lig ny, sæt Y n+ lig ny 4. Sæt X n = Y n for alle n Dias /38 Dias 2/38

4 A. Fire simulationer med p = 0.5, q = 0.3 A. Fire simulationer med p = 0.25, q = 0.6 Dias 3/38 Dias 4/38 A. Fire simulationer med p = 0.5, q = 0.5 A. Simulation Hvad får vi få ud af simulationerne? Ide om egenskaber ved udviklingen i processen. Hvordan afhænger egenskaberne af p og q? Hvad er fordelingen af kølængden til tid 00 (for eksempel)? P(X 00 = 0), P(X 00 = ), P(X 00 = 2), P(X 00 = 3)? Fordeling til tid 00? Simuler en masse (0.000) markovkæder op til tid 00 Tæt antal 0er, ere, 2ere, 3ere blandt de simulerede værdier af X 00. Beregn andele. Prøv med forskellige værdier af p og q. Dias 5/38 Dias 6/38

5 A. Simuleret fordeling af X 00 B. Random walk på lille gitter Hvad er fordelingen af X 00? Simuler 0000 kæder op til tid 00 Hvordan fordeler de 00 simulerede værdier af X 00 sig på værdierne 0,, 2 og 3? p q Fire gadehjørner og fire gader: X n : placering til tidspunkt n (efter n ryk) efter følgende procedure: Start i hjørne, dsv. X 0 = ; På hvert tidspunkt n : Ryk en gang med uret med sandsynlighed p med uret med sandsynlighed p. Med et større gitter kunne dette blive en model for partikelbevægelser på gitter. Dias 7/38 Dias 8/38 B. Opgave B. Opgave Med antagelserne fra før: Hvad er tilstandsrummet? Hvorfor er værdierne p = 0 og p = uinteressante? Antag at 0 < p <. Er det muligt at ramme alle tilstande til alle tidspunkter? Hvorfor er (X 0,X,...) en homogen markovkæde? Opskriv overgangsmatricen Vælg en værdi af p og lav simulationer af markovkæden. Brug Maple eller terninger. Prøv evt. flere forskellige værdier af p. Ny situation. Til hvert tidspunkt n : Slå med en terning og ryk lige så mange gange med uret som terningen viser. Er det muligt at ramme alle tilstande til alle tidspunkter? Opskriv overgangsmatricen Lav simulationer af markovkæden Dias 9/38 Dias 20/38

6 A. Fordeling af X n A. Fordeling af X Før undersøgte vi fordelingen af X 00 vha. simulationer. Kunne vi have regnet eksplit på det? Før antog vi at X 0 = 0 med sikkerhed. Kan gøre det mere generelt, så også X 0 vælges tilfældigt. Begyndelsesfordeling, µ 0 = (µ 0 0, µ0, µ0 2, µ0 3 ), dvs. P(X 0 = i) = µ 0 i Hvad er så fordelingen af X? Notation, for j = 0,,2,3: µ j = P(X = j) µ j = P(X = j) = P(X = j,x 0 = 0) + P(X = j,x 0 = ) + P(X = j,x 0 = 2) + P(X = j,x 0 = 3) = P(X 0 = 0)P(X = j X 0 = 0) + P(X 0 = )P(X = j X 0 = ) + P(X 0 = 2)P(X = j X 0 = 2) + P(X 0 = 3)P(X = j X 0 = 3) = µ 0 0 Q 0j + µ 0 Q j + µ 2 0 Q 2j + µ 3 0 Q 3j = (µ 0 Q) j Multiplikation af 4 matrix (række) med 4 4 matrix. Sandsynligh. for at X er lig j er j te element i rækkevektoren µ. Altså: µ = µ 0 Q. Dias 2/38 Dias 22/38 A. Fordeling af X n A. Stationær begyndelsesfordeling Fordeling af X 0 : µ 0. Iterativt: Fordeling af X : µ = µ 0 Q Fordeling af X 2 : µ 2 = µ Q = (µ 0 Q)Q = µ 0 Q 2... Fordeling af X n : µ n = µ 0 Q n Element (i,j) i Q n angiver sandsynlighederne for overgang fra i til j i n trin: (Q n ) ij = P(X n = j X 0 = i) Findes der en fordeling µ sådan at hvis X 0 har denne fordeling, så har alle X n den samme fordeling? I så fald kaldes µ en stationær begyndelsesfordeling. Betingelser: µq = µ µ j 0 og µ 0 + µ + µ 2 + µ 3 = (sandsynligheder) Den første betingelse består af fire ligninger med fire ubekendte. Dias 23/38 Dias 24/38

7 A. Stationær begyndelsesfordeling A. Stationær begyndelsesfordeling Skrevet ud: µ 0 ( p) + µ q = µ 0 µ 0 p + µ ( p q) + µ 2 q = µ µ p + µ 2 ( p q) + µ 3 q = µ 2 µ 2 p + µ 3 ( q) = µ 3 µ j 0 og µ 0 + µ + µ 2 + µ 3 = Regne-regne-regne... Så får vi: Lad z = p/q og c = ( + z + z 2 + z 3 ) Så er µ = c (,z,z 2,z 3 ) en stationær begyndelsesfordeling p = 0.5, q = 0.3: µ = (0.0994,0.654,0.2757,0.4596) p = 0.25, q = 0.6: µ = (0.605,0.2506,0.044,0.0435) p = 0.5, q = 0.5: µ = (0.25,0.25,0.25,0.25) Sammenlign med Q n for n stor og med simulationsresultaterne! Dias 25/38 Dias 26/38 A. Eksistens, entydighed af SBF og konvergens B. Stationær begyndelsesfordeling Sætning Antag at (X 0,X,...) er irreducibel og aperiodisk. Så: Der findes en og kun en stationær begyndelsesfordeling µ For enhver begyndelsesfordeling µ 0 gælder at µ 0 Q n konvergerer mod µ. Uanset hvordan kæden startes, ender den med (cirka) at have fordeling µ. Betingelserne: Irreducibel: Enhver tilstand kan nås fra enhver anden tilstand (i et antal skridt) Aperiodisk: Vil ikke give jer den præcise definition i dag... Betingelserne er ok for kølængde-eksemplet. Antag P(X 0 = ) =, dvs. µ 0 = (,0,0,0). Fordeling af X? Antag i stedet at µ 0 = (0.5,0.5,0,0). Fordeling af X? Beregn Q 2 og forklar strukturen (nullerne). Er kæden irreducibel? Er kæden mon aperiodisk? Kan sætningen bruges til at sige noget om eksistensen af en staionær begyndelsesfordeling? Vis at µ = (0.25,0.25,0.25,0.25) er en stationær begyndelsesfordeling for all p ]0, [. Forklar dette intuitivt. Konvergerer fordelingen af X n mod µ for enhver begyndelsesfordeling? Dias 27/38 Dias 28/38

8 C. Yatzy Terningespil: Kast med fem terninger. Hvis du har fem ens: Stop! Ellers: Behold de terninger du har flest af, og kast de resterende. Hvis du har fem ens: Stop! Fortsæt indtil du har fem ens. Lad X 0, være antal ens efter første kast, X antal ens efter andet kast, X 2 være antal ens efter tredje kast, osv. Specielt interesseret i at ssh. for yatzy i tre slag, dvs. i P(X 2 = 5). (X 0,X,X 2,...) er en homogen markovkæde med tilstandsrum S = {,2,3,4,5}, så vi kan bruge markovkædetorien. C. Fordeling af X 0 Fordeling af X 0 givet ved: ( 20 µ 0 =, 900, 250 ), 25, For eksempel, P(X 0 = 3): Antal mulige slag i alt: 6 5 = 7776 Antal måder man kan vælge 3 ud af 5: ( 5 3) = 0 Antal muligheder for de tre ens: 6 Antal muligheder for de to andre 5 5 = 25 Antal gunstige slag: = 500. Sandsynlighed = 500/7776 = 250/. Dias 29/38 Dias 30/38 C. Overgangssandsynligheder Overgangsgraf: Ikke så simpelt at beregne overgangssandsynlighederne men det viser sig at overgangsmatricen er: Q = er en absorberende tilstand. Når kæden først er nået derhen, slipper den ikke væk igen. C. Overgangssandsynligheder Eksempel: Tredje række, svarende til at man efter n kast har 3 ens. Kaster så med 2 terninger, mulige udfald P(X n+ = 5 X n = 3) = /, thi i et af udfaldene har begge terninger samme antal øjne som de tre ens. P(X n+ = 3 X n = 3) = 25/ thi i 5 5 = 25 af udfaldene har ingen af de to terninger samme antal øjne som de tre ens. P(X n+ = 4 X n = 3) = 0/ thi i ( 2 ) 5 = 0 af udfaldene har netop en af de to terninger samme antal øjne som de tre. Første og anden række er vanskeligere fordi antal øjne man samler på kan skifte! Dias 3/38 Dias 32/38

9 C. Sandsynlighed for yatzy i tre slag Fordeling af X 2 (største antal ens efter tre kast), µ 2 = µ 0 Q 2 : ( 20, 900, 250 ), 25, der bliver µ 2 = ( ,0.2562, , , ). Specielt er ssh. for at slå yatzy i tre slag, P(X 2 = 5) = D. Smittespredning Tre individer. Hvert individ kan enten være syg ( ) eller rask ( ). I alt 2 3 = 8 mulige tilstande: X n er tilstanden til tid n med følgende simple model for smittespredning: Syg til tid n rask til tid n + Rask og uden syge naboer til tid n rask til tid n + Rask og med mindst en syg nabo til tid n syg til tid n + med sandsynlighed p og rask med sandsynlighed p. Så er (X 0,X,...) en homogen markovkæde. Overgangsgraf? Overgangssandsynl.? Absorberende tilstande? Dias 33/38 Dias 34/38 D. Smittespredning D. Tilføjet efter workshoppen Lad Y n være antallet af smittede til tid n. Tilstandsrum S = {0,,2,3}. Mulige overgange: 0 0, 0,, 2, 2 0, 2, 3 0 (Y 0,Y...) er ikke en markovkæde! Hvorfor ikke? Beregn evt. P(Y 2 = 2 Y 0 = 2,Y = ) og P(Y 2 = 2 Y 0 =,Y = ). De er ikke ens! Så giver det ikke mening at tale om overgangsmatricen Q. Vi kunne ikke rigtigt finde ud af at beregne sandsynlighederne på forrige side. Med god grund: vi har brug for antagelser om fordelingen af X 0, altså konfigurationen til tid 0. Antag at hver af de tre personer til tid 0 er syg med ssh. p og rask med sssh. p, samt at der er uafhængighed. Kan nu regne på P(Y 2 = 2 Y 0 = 2,Y = ) og P(Y 2 = 2 Y 0 =,Y = ) og se at de ikke er ens. Dias 35/38 Dias /38

10 D. Tilføjet efter workshoppen Vil beregne P(Y 2 = 2 Y 0 = 2,Y = ) = P(Y 0=2,Y =,Y 2 =2) P(Y 0 =2,Y =). Hændelsen i nævneren kan ske på tre måde:,,, alle med ssh. p 2 ( p) p Hændelsen i tælleren kan kun ske på en måde: med ssh. p 2 ( p) p p 2. I alt fås P(Y 2 = 2 Y 0 = 2,Y = ) = p5 ( p) 3p 3 ( p) = p2 3 D. Tilføjet efter workshoppen Vil beregne P(Y 2 = 2 Y 0 =,Y = ) = P(Y 0=,Y =,Y 2 =2) P(Y 0 =,Y =). Hændelsen i nævneren kan ske på fire måde:,,,, med ssh. p( p) 2 p, p( p) 2 p( p), p( p) 2 p( p), hhv. p( p) 2 p. Hændelsen i tælleren kan kun ske på to måde:, begge med ssh. p( p) 2 p p 2. I alt fås P(Y 2 = 2 Y 0 =,Y = ) = 2p 4 ( p) 2 2p 2 ( p) 2 (2 p) = p2 2 p Dias 37/38 Dias 38/38