Info Stokastiske processer og køteori 1. kursusgang Jesper Møller Institut for Matematiske Fag Aalborg Universitet http://www.math.aau.dk/ jm JM (I17) VS7-1. minimodul 1 / 40
Info Praktisk information Hjemmeside http://www.math.aau.dk/ jm/cources/vs7 Litteratur 1 Andersen, KE (2001). Operationsanalytiske metoder i produktionsog lagerstyring. 2 Kopier og noter. Software 1 R (http://www.r-project.org). 2 Excel. JM (I17) VS7-1. minimodul 2 / 40
Info Praktisk information Tentativ kursusform på eftermiddage (tilsvarende på formiddage) 12.30-13.00: Repetition. 13.00-14.45: Opgavegning. 14.45-16.15: Forelæsning. Eksamen (!) Individuel mundtlig eksamen (karakterer efter binær skala) på baggrund af (skriftligt) miniprojekt. Afleveringsdato:?. december 2008. Eksamensdato: 9. januar 2009. JM (I17) VS7-1. minimodul 3 / 40
Info Dagens program Dagens program 1 Lidt overordnet om køteori og anvendelser. 2 Noget om kursets indhold. 3 Modeller for køsystemer, og hvorfor vi skal se på stokastiske (fremfor deterministiske) af slagsen. 4 Stokastiske processer definition og eksempler. 5 Markovprocesser definition og beregning. JM (I17) VS7-1. minimodul 4 / 40
Køteori lidt praktisk motivation Motivation Produktionssystemer. Hvor lang tid tager en ordre? Er der nok maskiner? Bør man ændre prioriteringen på ordrer? Supermarked. Venteliste. Callcenter. Ventetid ved kasselinie? Er der nok kasser åbne? Ventetid på operation? Er der allokeret tilstrækkelige ressourcer til behandlingsformen? Risiko for optaget? Ventetid på service? Skal der bruges flere operatører? Arrest-til-grundlovsforhør. Ventetid fra anholdelse til foretræde for domstol? Bemanding tilstrækkelig? Datakommunikation Sandsynlighed for pakketab? Forsinkelse på pakker? Skal bufferstørrelsen ændres? JM (I17) VS7-1. minimodul 5 / 40
Køsystemer Ingredienser Tre hovedbestanddele: Kunde: Kø: Server: Det/den, som afventer service. Mængden af kunder, som afventer service (evt. med et maksimalt antal pladser i køen). Det/den, som udfører service. Generelt ikke kunde/server/kø i sædvanlig fysisk forstand. Målsætning Sikre tilfredsstillende performance ved dimensionering: 1 Teoretisk baseret simulering af køsystem før implementation. 2 Empirisk baseret optimering efter implementation. JM (I17) VS7-1. minimodul 6 / 40
Køsystemer Modeldannelse for køsystemer Modellering 1 Definér centrale karakteristika for køsystem. Pas på detaljeringsgrad; modeller kan let bliver uoverskuelige! Hold altid formålet for øje; hvad skal modellen bruges til? 2 Udvikl matematisk formulering. Deterministisk eller stokastisk model? Kan man bruge gængse, velstuderede modeltyper? Afvej nøje modelrealisme op imod formål. Gør ikke tingene unødigt komplicerede, men vær opmærksom på forsimplende antagelser. 3 Bestem performancemål og dimensionering (en del af 1+2). 4 Ideelt: Validér (dele af) modellen mod rigtige data. JM (I17) VS7-1. minimodul 7 / 40
Køsystemer Eksempler Eksempler Kasselinie i den lokale kiosk (let eksempel) 1 server (kassen). System blokeret, når kunde ekspederes. Performancemål: F.eks. gennemsnitlig ventetid eller blokadesandsynlighed. Dimensionering: Flere kasselinier? Hurtigere ekspedienter? Call-center (svært eksempel) Mange servere. System blokeret, når alle er optaget. Tekniske overvejelser ang. matematisk model 1 Kunder, der bliver afvist kan ringe igen. 2 Kunder kan blive utålmodige og opgive før service. Performancemål/dimensionering? JM (I17) VS7-1. minimodul 8 / 40
Kort om deterministiske produktionssystemer Deterministiske produktionssystemer Antagelser 1 Deterministiske ankomster (x enheder/time). 2 Deterministiske produktionstider. 3 Uendeligt mange køpladser per maskine. 4 Ligevægt ingen ophobning af enheder i system.... kan i så fald benytte fluid modeller Produktionssystem som deterministisk fluid model Produkter strømmer gennem system med fast hastighed. Produktionslinier som rør, hvor Længden er et mål for produktionstiden Tykkelsen er et mål for maksimalt throughput. JM (I17) VS7-1. minimodul 9 / 40
Kort om deterministiske produktionssystemer Deterministiske produktionssystemer eksempel Eksempel 40% forarbejdning i areal 2 & 3, 60% i areal 4 & 5. Produktionstider: Maskine 1 2 3 4 5 6 Tid (timer/enhed) 0.2 0.6 0.4 0.3 0.5 0.1 Hvad er maksimalt throughput λ (enheder/time)? Maskine 1: 0.2λ Maskine 2: 0.4 0.6λ = 0.24λ Maskine 3: 0.4 0.4λ = 0.16λ Maskine 4: 0.6 0.3λ = 0.18λ Maskine 5: 0.6 0.5λ = 0.30λ Maskine 6: 0.1λ Maskine 5 er flaskehalsen fuld udnyttelse når 0.30λ = 1 λ = 3.33/time. JM (I17) VS7-1. minimodul 10 / 40
Kort om deterministiske produktionssystemer Fordele/ulemper ved deterministiske modeller Fordele/ulemper + Let at analysere komplicerede netværk af produktionslinier. + Fordrer kun begrænset kendskab til systemparametre. + Hurtige skøn af performance. - Gennemført determinisme sjældent realistisk. - Ufleksible. Vi skal arbejde med mere generelle stokastiske modeller eksempler på beregninger i det deterministiske setup vil blive givet ifm. opgaveregning. JM (I17) VS7-1. minimodul 11 / 40
Stokastiske modeller for køsystemer Stokastiske modeller Køsystem Ankomstproces T 1, T 2,... (ankomsttid per kunde). Kødisciplin (rækkefølge for ekspedition). Vi vil normalt antage FIFO (first-in-first-out). Ekspeditionstidsproces S 1, S 2,... (ekspeditionstid per kunde). Kønetværk Flere køsystemer sat sammen. Eks. Patienter på venteliste opereration/reoperation. Produktionssystem med kvalitetskontrol. JM (I17) VS7-1. minimodul 12 / 40
Stokastiske modeller for køsystemer Ankomstprocesser Ankomstproces Bank. Kunder til pengeautomat. Hospital. Patienter på venteliste. Produktionssystem. Ordretilgang, råvaretilgang. Arrest-til-grundlovsforhør. Anholdte. Vi skal se på ankomstprocesser, som er fornyelsesprocesser: T n = n U i, U i uafhængige og identisk fordelte, n = 1, 2,... i=1 Yderpunkter i denne klasse: Fuldstændig tilfældige ankomster (Poissonproces). Deterministiske ankomster. JM (I17) VS7-1. minimodul 13 / 40
Stokastiske modeller for køsystemer Ekspeditionstidsprocesser Ekspeditionsproces Bank. Tid for transaktion. Hospital. Transport, narkose, operation, opvågning. Produktionssystem. Forarbejdningstid, transport, reparation/omstilling af maskiner, kvalitetskontrol, shipping. Arrest-til-grundlovsforhør. Tid til grundlovsforhør. Yderpunkter: Eksponentialfordelingen (ingen hukommelse). Deterministisk proces (konstant ekspeditionstid). JM (I17) VS7-1. minimodul 14 / 40
Vi skal se på... Hovedpunkter Modeller for ankomst- og ekspeditionstidsproces. Simple stokastiske kømodeller som kan analyseres eksakt. Statistiske metoder til empirisk analyse af køsystemer. Performancemål og outputanalyse for simulationer. Køteori for produktionssystemer Realistiske produktionssystemer: brug simulation! Kræver Empiriske metoder til bestemmelse af systemmodel. Kendskab til outputanalyse og performancemål. Hvorfor så vide noget om forsimplede eksakte modeller? Hvad kan man, og hvad kan man ikke regne på? Springbræt til studier af mere avanceret teori. JM (I17) VS7-1. minimodul 15 / 40
Stokastiske processer Ω: Udfaldsrum. F: Mængde af delmængder af Ω (hændelser). I praksis er alle A Ω hændelser. P: Sandsynlighedsmål, funktion fra F til [0, 1]. Stokastisk variabel: Funktion X fra Ω til R så {ω : X (ω) x} F for alle x R. Fastlagt ved fordelingsfunktion F X (x) := P(X x), x R. Stokastisk proces: Samling af stok. var. {X (t) : t T }, hvor T [0, ). Fastlagt (i dette kursus) via marginale fordelinger for n N P(X (t 1 ) x 1,..., X (t n ) x n ), (x 1,..., x n ), (t 1,..., t n ) R n. Heuristisk: Stokastisk proces = stokastisk variabel med værdier i klassen af funktioner T R. JM (I17) VS7-1. minimodul 16 / 40
Vigtige begreber Stokastisk proces {X (t) : t T }, hvor T [0, ) Indeksmængde: T. Udfald/tilstand: X (ω, t) er udfaldet af X (t) til tid t. Udfaldsfunktion: X (ω, ) er udfaldene for alle tider. Tilstandsrum: Billedmængden for X (, t). Betegnes S for en vilkårlig tid t. JM (I17) VS7-1. minimodul 17 / 40
Eksempel random walk For T = {0, 1, 2,...} (diskret tid) og n = 1, 2,..., definér { X (n 1) 1 med sandsynlighed 1/2 X (0) := 0, X (n) := X (n 1) + 1 med sandsynlighed 1/2 Position 1 0 1 2 3 4 5 1 1 3 5 0 5 10 20 Position Tid JM (I17) VS7-1. minimodul 18 / 40
... og i 2 dimensioner Random walk y 1 1 2 3 4 5 6 0 1 2 3 4 5 6 x JM (I17) VS7-1. minimodul 19 / 40
Eksempel Brownsk bevægelse 1 X (0) = 0; 2 X (t) X (s) N(0, t s), t > s, uafh. af {X (u) : 0 u s}; 3 udfaldsfunktionerne for X er kontinuerte. Patologisk! X intetsteds differentiabel, uendelig længde osv. JM (I17) VS7-1. minimodul 20 / 40
Stokastisk proces fra den virkelige verden Ventetid på ekspedition i et callcenter. Matematisk model...? JM (I17) VS7-1. minimodul 21 / 40
Vores setup Med mindre andet fremgår beskæftiger vi os med stokastiske processer med endeligt tilstandsrum S = {0, 1,..., n} og kontinuert tid T = [0, ). Eksempel antal kunder i et callcenter efter midnat JM (I17) VS7-1. minimodul 22 / 40
Et simpelt køsystem Afvisningssystem uden køplads: 1 server og ingen køplads (eksempelvis 1 badeværelse og ingen køplads). Model: Stokastisk proces {X (t) : t [0, )} hvor X (t) := 1 hvis system optaget til tid t, 0 ellers. Bemærk, X er fastlagt ved ankomst/ekspeditionstidsproces. JM (I17) VS7-1. minimodul 23 / 40
Markovprocesser med diskret tilstandsrumn X stokastisk proces på T = [0, ) med tilstandsrum S = {0,..., n} Tidsafhængig overgangssandsynlighed: p ij (s, t) := P(X (t) = j X (s) = i), i, j S, t s 0. Da man altid befinder sig i en tilstand j {0,..., n} gælder n p ij (s, t) = 1. j=0 X kaldes en Markovproces, hvis X har Markovegenskaben: P(X (t) = j X (t 1 ) = x 1,..., X (t m ) = x m, X (s) = i) = p ij (s, t), for alle tider t 1 t m s t samt tilstande i, j S Heuristisk: P(fremtid fortid og nutid) = P(fremtid nutid). JM (I17) VS7-1. minimodul 24 / 40
Eksempler på Markovprocesser Random walk X (0) := 0, X (n) := { X (n 1) 1 med sandsynlighed 1/2 X (n 1) + 1 med sandsynlighed 1/2 Fornyelsesprocesser T n = n U i, i=1 U i uafhængige og identisk fordelte. De fleste afledte processer i køsystem med Markov ankomstproces (kølængde, ventetid etc). JM (I17) VS7-1. minimodul 25 / 40
Ligevægtssandsynligheder for Markovprocesser Stokastisk proces X er en stationær/homogen Markovproces, hvis 1 X har Markovegenskaben, og 2 p ij (s, t) afhænger kun af t s. Antag stationaritet. Hvis der for alle i, j eksisterer t så p ij (t) > 0 (irreducibilitet) gælder lim p ij(t) = p j [0, 1]. (1) t Højresiden kaldes ligevægtssandsynligheden for tilstand j. Heuristisk: p j er brøkdelen af tid i tilstand j i det lange løb. Kan benyttes til beregning af udnyttelsesgrader, gennemsnitlig ventetid, brøkdel af kunder, som afvises osv. Hvis grænseværdien (1) eksisterer for alle i, j, taler man om et ligevægtssystem eller et ergodisk system. JM (I17) VS7-1. minimodul 26 / 40
Eksempel ligevægt for reflekteret random walk JM (I17) VS7-1. minimodul 27 / 40
Mellemlandingsformlen Hvordan kommer man fra tilstand i til tid s til tilstand j til tid t? F.eks. ved mellemlanding i tilstand l }{{} i tid s }{{} l tid u j }{{} tid t Loven om total sandsynlighed giver, s u t p ij (s, t) = = n P(X (t) = j X (u) = l, X (s) = i)p(x (u) = l X (s) = i) l=0 n p il (s, u)p lj (u, t) (af Markovegenskaben). l=0 Mellemlandingsformlen/Chapman-Kolmogorov s ligning. JM (I17) VS7-1. minimodul 28 / 40
Overgangsintensiteter Antag at 1 p ii (t, t) = 1 for vilkårligt t (dvs. p ij (t, t) = 0 for i j); 2 p ij er differentiabel i andenkoordinaten. Så defineres overgangsintensiteten c ij som c ij (s) := t p ij(s, t). t=s Bemærk n j=0 c ij(s) = 0 (bevarelse af masse) og c ij (s) 0 for i j. Markovprocessen er fastlagt af c ij for alle i j (samt begyndelsesbetingelser). Momentan tilbøjelighed til overgang fra i til j til tid s (i j). Tit er disse c ij (i j) kendte (vi kender ankomst/afgangsrate), og vi ønsker at bestemme overgangs/ligevægtssandsynligheder. JM (I17) VS7-1. minimodul 29 / 40
Kolmogorov s fremadgående diff. lign. I Mellemlandingsformel: p ij (s, t) = n l=0 p il(s, u)p lj (u, t). Fremadgående diff. lign.: Differentiér mht. t og lad u t t p ij(s, t) = n p il (s, t)c lj (t), l=0 0 s < t På matrixform: p 00 p 0n p 00 p 0n c 00 c 0n t. =.. p n0 p nn p n0 p nn c n0 c nn eller med matrixnotation, P t (s, t) = P(s, t)c(t). Matrixdifferentialligning: generelt vanskelig at løse analytisk. JM (I17) VS7-1. minimodul 30 / 40
Kolmogorov s fremadgående diff. lign. II Antag at X stationær Markovproces (p ij (s, t) afh. kun af t s). Så er overgangsintensiteterne uafhængige af s: t p p ij (s + h s) p ij (s s) ij(s, t) = lim t=s h 0 h p ij (h) p ij (0) = lim = c ij. h 0 h Dvs. C(t) C er en konstant matrix, c ij 0 for i j, mens c ii 0. Fremadgående diff. lign. bliver da: d dt p ij(t) = n p il (t)c lj P (t) = P(t)C. l=0 Kan løses både eksakt og mht. ligevægtsfordelingen. JM (I17) VS7-1. minimodul 31 / 40
Hvad betyder konstante overgangsintensiteter? Definér T i := tid i tilstand i (sojourn time ell. opholdstid). Sandsynligheden at blive i tilstand i i lille interval (t, t + h) 1 p ij (h) 1 c ij h = 1 + c ii h. j:j i j:j i Inddel [0, t] i k lige store intervaller. Af Markovegenskaben k 1 P(T i > t) = lim P(T i > t(l + 1)/k T i > tl/k) k l=0 ( k = lim 1 + c ii t/k) = e c ii t. k Dvs. fordelingsfkt. F Ti (t) = 1 e c ii t (eksponentialfordeling). JM (I17) VS7-1. minimodul 32 / 40
Udregning af ligevægtsfordeling Lad t. Så fås 0 = n l=0 p lc lj, j = 0,..., n. På vektorform, C p = 0, hvor p = [p 0,..., p n ]. Da n j=0 c ij = 0, har C rang højest n. Bestemmelse af n + 1 ligevægtssandsynligheder? Yderligere betingelse n i=0 p i = 1 (vektorform 1 p = 1). Ligevægtsfordelingen p for en stationær Markovproces med kendt intensitetsmatrix C kan bestemmes ved løsning af ligningssystemet [ ] [ ] 1 1 p =, 0 C hvor p = [p 0,..., p n ] m. p i ligevægtssandsynlighed for tilstand i. JM (I17) VS7-1. minimodul 33 / 40
På kogebogsform 1 Lad C være en intensitetsmatrix. 2 Lad A være matricen, som fremkommer ved at udskifte øverste række i C med ettaller. 3 Lad a være vektoren [1, 0,..., 0]. 4 Ligevægtsfordelingen p for Markovkæden med intensitetsmatrix C er da givet ved p = A 1 a. JM (I17) VS7-1. minimodul 34 / 40
Eksempel simpelt afvisningssystem I 1 server, 1 køplads. Tilstandsproces X (t) := { 1 hvis system optaget til tid t 0 ellers. Hopdiagram: JM (I17) VS7-1. minimodul 35 / 40
Eksempel simpelt afvisningssystem II Intensitet hvormed kunder ankommer: 15/time. c 01 = 15, hvoraf c 00 = 15 af massebevarelse. Intensitet hvormed kunder ekspederes: 10/time. c 10 = 10, hvoraf c 11 = 10 af massebevarelse. Transponeret intensitetsmatrix C = [ 15 ] 10 15 10 Fjern øverste række, erstat med [1, 1]. Ligningssystem: [ ] [ ] [ 1 1 p1 1 = p = [0.4, 0.6] 15 10 p 2 0]. Dvs. system optaget 60% af tiden. JM (I17) VS7-1. minimodul 36 / 40
Eksakte (ikke-ligevægt) beregninger I Lineært differentialligningssystem x (t) = Ax(t) for en kontinuert differentiabel vektorfunktion x, en matrix A. Generel løsning x(t) = i α i exp(λ i t)v i, hvor λ i : v i : α i : ite egenværdi for A ite egenvektor for A konstant, fastlægges ud fra begyndelsesbetingelser.. JM (I17) VS7-1. minimodul 37 / 40
Eksakte (ikke-ligevægt) beregninger II X stationær Markovproces; fremadg. diff. lign. P (t) = P(t)C. Løs som n + 1 differentialligningssystemer. p i0 (t) p i0 (t) d = C, i = 0,..., n dt. p in (t). p in (t) med begyndelsesbetingelsen P(0) = I. Man kan vise, at p i0 (t) p 0 n. =. + α i,j e λ j t v j, p in (t) p j=1 n hvor α i,j -erne er konstanter bestemt ved begyndelsesbetingelsen P(0) = I, og λ j < 0 er en egenværdi for C med tilhørende egenvektor v j. Heraf: indsvingning mod ligevægt er eksponentiel. JM (I17) VS7-1. minimodul 38 / 40
Eksakte beregninger, simpelt afvisningssystem Transponeret intensitetsmatrix C = [ ] 15 10. 15 10 Egenværdier 0, 25 med egenvektorer [1, 3/2], [ 1, 1]. Løsning (under begyndelsesbetingelsen) viser sig så at være [ ] [ ] [ p00 (t) p 01 (t) 0.4 0.6 0.6e 25t 0.6e = + 25t ] p 10 (t) p 11 (t) 0.4 0.6 0.4e 25t 0.4e 25t. Ligevægt når e 25t 0 svarende til et kvarters tid... JM (I17) VS7-1. minimodul 39 / 40
Opsamling hvad skal I kunne? Teori Redegøre for hvad der forstås ved et køsystem. Definere en stokastisk proces (side 16) og skelne mellem begreberne på side 17. Definere en Markovproces og kende eksempler herpå; vide at Markovprocesser har eksponentialfordelte sojourn times. Definere overgangssandsynligheder, stationaritet, ligevægtssandsynligheder og overgangsintensiteter. Regneteknik Udregne ligevægtsfordelingen for en stationær Markovproces. Udregne overgangssandsynlighederne for en stationær Markovproces. JM (I17) VS7-1. minimodul 40 / 40