Spil- og beslutningsteori

Transkript

1 Spil- og eslutningsteori Peter Hrremoës Niels Brock 26. novemer 2

2 Beslutningsteori De økonomiske optimeringssitutioner, vi hr set på hidtil, hr været helt deterministiske. Det vil sige t vores gevinst hr været fuldstændigt estem f fktorer vi kendte eller vi hr hft kontrol over. Her skl vi se på situtioner, hvor der indgår usikkerhed. Her er lidt eksempler på hvordn usikkerhed kn komme ind i illedet. Måleusikkerhed Selvom vi prøver t lve præcise oservtioner f den verden, som omgiver os, vil selve oservtions- eller måleprocessen give nledning til større eller mindre usikkerhed. Tilfældighed Verden, som omgiver os, er delvis styret f fktorer som i prksis er umulige t forudsige. I spil kn det være terningkst. Andres eslutninger Ofte vil vi live påvirket f ndre personers eslutninger. Disse personer hr somme tider en direkte interesse i t holde deres eslutninger hemmelige længst muligt. Der findes forskellige måder t træffe eslutninger i situtioner med usikkerhed. I Mt A er forskellige eslutningskriterier eskrevet men uden t der kommer nogle interessnte konklusioner ud f det. Her er de vigtigste: Mximx-kriteriet Optimisten vælger den eslutning, som potentielt giver størst fkst. Mximin-kriteriet Pessimisten vælger den eslutning, hvor risikoen er mindst. Lplce-kriteriet Hvis mn kender en sndsynlighedsfordeling over de usikre hændelser, som influerer på vores eslutning, så kn mn mksimere sin middelgevinst. Hvis der tges eslutninger mnge gnge på dette grundlg vil den med stor sndsynlighed give den største smlede gevinst. Vi skl se t i de såkldte to-personers nulsumsspil, vil en lnding f de to sidste kriterier i en helt præcis forstnd være det optimle. Definition En strtegi siges t dominere en nden strtegi, hvis den ldrig er dårligere. En strtegi siges t dominere en nden strtegi strengt, hvis den ltid er decideret edre. Det første vi vil gøre, hvis vi får forelgt et eslutningsprolem, vil være t fjerne lle dominerede strtegier. Unset hvilket f ogens eslutningskriterie mn enytter, vil strengt dominerede strtegier ldrig spille nogen rolle. 2 Flerpersoners spil Beslutningsteori liver først rigtigt interessnt i situtioner, hvor flere skl træffe eslutninger smtidigt, hvilket vi nu skl se på. Vi tænker os et ntl personer,

3 som hver kn træffe en eslutning. Disse personer vil vil klde spillere. Hver spiller hr sin egen kriteriefunktion og værdien f kriteriefunktionen fhænger f hvd hver enkelt spillers strtegi (vi vil i lmindelighed klde de forskellige mulige eslutninger for strtegier). Eksempel 2 (Fngernes Dilemm) To mistænkte, Anders og Børge, er levet nholdt f politiet. Anders og Børge holdes dskilt, så de ikke kn kommunikere. Politiet hr ikke eviser nok til t få dem dømt for deres grove forrydelse, men politiet kn få de mistænkte fængslet i et hlvt år for en mindre forrydelse. D historien foregår i USA, vil politiet slå en hndel f med de mistænkte: hver f dem kn vælge t forråde den nden eller holde mund. Hvis egge holder mund, får de hver et hlvt års fængsel. Hvis den ene forråder den nden og den nden holder mund, slipper forræderen fri og den nden får ti års fængsel. Hvis de forråder hinnden, får de hver fem års fængsel. Skl de mistænkte forråde hinnden, eller skl de holde tæt? Pyoff for Anders Børge holder tæt Børge synger Anders holder tæt /2 Anders synger 5 Pyoff for Børge Børge holder tæt Børge synger Anders holder tæt /2 Anders synger 5 For Anders er det t holde tæt domineret f t forråde Børge. For Børge er det t holde tæt domineret f t forråde Anders. Derfor vælger de egge t forråde den nden og de får egge 5 års fængsel. Hvis de kunne smrejde om t holde tæt ville de hver slippe med /2 års fængsel. For mere komplicerede spil kn det være nødvendigt t fjerne dominerede strtegier i flere omgnge. Eksempel 3 (Gæt et tl) Et ntl personer skl hver eslutte sig for et reelt tl i intervllet [; ]. Mn udregner gennemsnittet f de vlgte tl. Den hvis gæt er tættest på 2 /3 f gennemsnittet, vinder en præmie. De ndre vinder ikke noget. D gennemsnittet f nogle tl i intervllet [; ] selv må ligge i dette intervl må 2 /3 f gennemsnittet ligge i [ ; 66 3] 2. Hvis mn er rtionel kn lle tl over udelukkes idet de som strtegier er domineret f tllet Hvis lle er rtionelle, vil lle derfor vælge tl fr intervllet [ ; 66 3] 2. Hvis mn ved, t de ndre er rtionelle ved mn også t gennemsnittet må ligge i [ ; 66 3] 2, så 2/3 f gennemsnittet må ligge i [ ; ] 2. D vil lle lle tl over = være domineret og kn udelukkes. Hvis lle ved t de ndre er rtionelle derfor kun vælge tl fr intervllet [ ; 44 9] 4. Sådn kn mn live ved, så hvis lle er rtionelle og lle ved t de ndre er rtionelle og lle ved t lle ved t de ndre er rtionelle osv. så vil lle tl over kunne udelukkes og der er så kun tilge t lle vælger. 2

4 Figur : John F. Nsh (f. 928) omkring 994, hvor hn modtog Noel-prisen. Definition 4 Et sæt (s, s 2, s 3,..., s n ) f strtegier for Spiller, Spiller 2,..., Spiller n siges t udgøre en Nsh-ligevægt, dersom inges spiller ville vinde noget ved t ændre sin strtegi forudst t de øvrige holdt fst i deres strtegier. I Fngernes Dilemm udgør (syng,syng) en Nsh-ligevægt. I Gæt et Tl udgør (,,,...,) en Nsh-ligevægt. Hvis et spil hr en entydigt estemt Nshligevægt, vil det mest rtionelle for lle spillere være t spille denne strtegi. Eksempel 5 Hver dg skl et stort ntl pendlere fr Avnstrup til Bjergy. Der er to store veje mellem yerne. Den ene går gennem Nørre Mellemy og den nden går gennem Sønder Mellemy. Der er en red vej fr Avnstrup til Nørre Mellemy som det tger en time t køre. Tilsvrende er der en red vej fr Sønder Mellemy til Bjergy som det også tger time t køre. Fr Avnstrup til Sønder Mellemy er der en sml men mere direkte vej. Det tger 3 + 3x minutter t tge denne rute hvor x er den procentvise ndel f iler, som tger denne vej. Tilsvrende er der fr Nørre Mellemy til Bjergy en sml men mere direkte vej, hvor det også tger 3 + 3x minutter t tge denne rute, hvor x er ntllet f iler der tger denne vej. Nørre og Sønder Mellemy er imidlertid i prksis én y, og der er en gnske kort forindelsesvej mellem de to yers vejnet. Tiden for t tge forindelsesvejen vil vi sætte til. En Nsh-ligevægt estår i t lle pendlere tger fr Avnstrup til Sønder Mellemy, videre til Nørre Mellemy 3

5 og derfr til Bjergy. Trnsportiden liver d 2 timer. Det emærkelsesværdige i dette eksempel er, t en spærring f forindelsesvejen mellem Nørre og Sønder Mellemy ændrer Nsh-ligevægten, så det optimle for lle liver t hlvdelen skl tge den nordlige rute og hlvdelen den sydlige. Herved liver den gennemsnitlige trnsporttid reduceret til time og 45 min. Spærring f vejen resulterer således i kortere trnsporttid for lle! I stedet for helt t spærre forindelsesvejen kn med lve vejump og tilsvrende trfikhindringer lot de gør t det kommer til t tge mindst 5 minutter t køre mellem Nørre og Sønder Mellemy. Eksempel 6 Vi etrgter et spil med to spillere, Alice og Bo, som hver hr 4 strtegier. Deres py-off mtricer er givet ved og Py-off for Alice Py-off for Bo Ved skiftevis t fjerne dominerede strtegier fr Alice og Bo ender vi med, t Alice skl vælge strtegi 3 og t Bo skl vælge strtegi 2. Komintionen ( 3, 2 ) er en Nsh-ligevægt, idet det ikke kn etle sig for nogen f spillerne t ændre deres strtegi. Der findes kun denne ene Nsh-ligevægt, så hvis åde Alice og Bo er fuldstændigt rtionelle, vil de vælge denne komintion f strtegier. Eksempel 7 Vi etrgter et spil med to spillere, Alice og Bo, som hver hr 4 strtegier. Deres py-off mtricer er givet ved Py-off for Alice og Py-off for Bo

6 Ved skiftevis t fjerne dominerede strtegier fr Alice og Bo ender mn med strtegierne og 2. Det er igen let t checke t strtegiprret (, 2 ) er en Nsh-ligevægt. Strtegiprret ( 4, ) er imidlertid også en Nsh-ligevægt og den er lngt mere fordelgtig for åde Alice og Bo. Grunden til t denne komintion forsvndt d vi fjernede dominerede strtegier vr, t 4 er domineret f 2 men t den ikke vr strengt domineret. Nshligevægten (, 2 ) er en slgs loklt mksimum, hvor ingen f spillerne føler noget incitment til selv t ændre sin strtegi. Alice og Bo skl ændre strtegier smtidigt for t det nytter noget. Dette kræver en form for forpligtende smrejde. I nogle spil kn det etle sig t smrejde, og d er det en fordel t fortælle de øvrige spillere hvd ens egen strtegi er. I ndre spil modrejder mn hinnden og d kn det være edst t hemmeligholde sin strtegi. Eksempel 8 (Sten, Sks, Ppir) Alice og Bo spiller Sten, Sks, Ppir. Alice hr følgende pyoff-mtrix, idet vi regner vundet for og tt for -. Py-off for Alice Sten Sks Ppir Sten - Sks - Ppir - Bos pyoff-mtrix fås ved t skifte fortegn. Py-off for Bo Sten Sks Ppir Sten - Sks - Ppir - Vi ser t i dette tilfælde er der ingen strtegier, som er dominerede. Både Alice og Bo vil prøve t hemmeligholde deres egen strtegi indtil modspilleren hr vlgt sin. Spillet hr ingen Nsh-ligevægt. Det vi hr set på hidtil, er såkldte rene strtegier. Vi vil nu indføre såkldte lndede strtegier. I spillet Sten, Sks, Ppir er der tre rene strtegier og Alice ør ikke røe sin sttegi til Bo. Dette kn opnås ved t Alice lnder de tre rene strtegier i forholdet ( /3, /3, /3), hvor /3 skl opfttes som en sndsynlighed. Alice kster derfor en terning og hvis der kommer eller 2 øjne vælger hun sten, hvis der kommer 3 eller 4 øjne vælger hun sks, og hvis der kommer 5 eller 6 vælger hun ppir. Denne lndede strtegi kn Alice nu fortælle Bo. D vil Bos middelgevist være unset hvd hn gør. Tilsvrende kn Bo ruge den lndede strtegi ( /3, /3, /3). Herved liver komintionen f de to lndede strtegier en Nsh-ligevægt. Sætning 9 I et spil med endeligt mnge spillere, som hver hr endelig mnge rene strtegier, findes ltid (mindst) en Nsh-ligevægt f lndede strtegier. Beviset for denne sætning er vnskeligt og vi udelder det derfor. Sætningen lev evist f John Nsh i 95 og hn modtog senere Noelprisen i økonomi for resulttet. 5

7 Figur 2: John von Neumnn (93-957) eviste minimx-sætningen i 928 og regnes smmen med O. Morgenstern som grundlægger f spilteorien in 933. Hn vr iøvrigt også en f computerens fædre og må nses for en f de vigtigste vidensksmænd i det 2. århundrede. 3 To-personers nulsum-spil I dette fsnit skl vi se på en særlig type f spil, som dels er lette t nlysere og dels hr mnge vigtige nvendelser. Spillene er krkteriseret ved t der kun deltger to spillere, som vi vælger t klde Alice og Bo. Endvidere vil vi ntge, t hvd, der er godt for Alice, er tilsvrende skidt for Bo. Der gælder med ndre ord t f Alice (s, s 2 ) = f Bo (s, s 2 ). I denne type spil vil de to spillere ldrig hve noget incitment for t smrejde. I stedet for t mksimere f Bo kn vi sige t Bo ønsker t minimere f Alice. Vi kn med ndre ord nøjes med t interessere of for Alices kriteriefunktion, som vi lot vil etegne f. Strtegier for Alice vil vi etegne, 2,... og Bos strtegier vil vi etegne, 2,.... Sætning I et to-personers nulsumsspil vil lle Nsh-ligevægte hve smme værdi. Bevis. Ld (, ) og ( 2, 2 ) etegne to Nsh-ligevægte. D gælder t f (, ) f ( 2, ), 6

8 idet strtegi er optiml for Alice hvis Bo spiller strtegi. Vi hr også t f ( 2, ) f ( 2, 2 ), idet 2 er optiml for Bo hvis Alice spiller 2, idet Bo ønsker t minimere f. Vi hr således vist t f (, ) f ( 2, 2 ). Den modstte ulighed vises tilsvrende og vi hr derfor t f (, ) = f ( 2, 2 ). Sætning kunne give det indtryk, t lle Nsh-ligvægte er lige gode. Det er også rigtigt, hvis egge spillere spiller fuldstændigt rtionelt. I følgende spil er åde (, ) og ( 2, ) Nshligevægte og egge hr værdi. Pyoff for Alice Vi ser imidlertid t dominerer 2, så hvis Bo ikke er rtionel hr Alice chnce for en gevinst på 4 frem for. Det er et eksempel på t mximin strtegien grnterer os et vist pyoff, men t den sgtens kn give os et højere pyoff. Sætning I et to-personers nulsumsspil gælder mx min f (, ) min Proof. I et to-personers nulsumsspil gælder f (, ) = f (, ) og dermed min f (, ) f (, ). Vi tger nu mximum over Alices strtegier og får mx min f (, ) mx f (, ). mx f (, ). () Dette gælder for lle Bos strtegier o så vi kn tge minimum over på højre side hvilket giver mx min f (, ) min mx f (, ). Sætning 2 (Minimx-sætningen) Et to-personers nulsums-spil hr en Nshligevægt, netop hvis mx min f (, ) = min mx f (, ). (2) Specielt gælder (2), hvis egge personer tilldes t ruge lndede strtegier. 7

9 Bevis. Antg t mx min f (, ) = min mx f (, ). D findes og så Derfor gælder min f (, ) min f (, ) = mx f (, ) f (, ) = mx f (, ) f (, ) og dermed t min f (, ) = mx f (, ) = f (, ). Det viser t (, ) er en Nsh-ligevægt. Antg omvendt t (, ) er en Nsh-ligevægt. D gælder f (, ) f (, ) for lle idet Alice ikke får noget ud f t ændre sin strtegi. Derfor gælder mx f (, ) f (, ) og dermed også Tilsvrende vises, t Tilsmmen får vi, t min mx f (, ) f (, ). mx min f (, ) f (, ). min mx f (, ) f (, ) mx min f (, ), hvilket viser t min mx f (, ) = mx min f (, ). Hvis de spillere tilldes t ruge lndede strtegier, findes ifølge Sætning 9 en Nshligevægt og d er minimx lig mximin. Hvis lndede strtegier tilldes, er minimx lig mximin og den fælles værdi kldes spillets værdi. Med disse resultter er vi i stnd til t lve en vigtig klssifiktion f to-personers nul-sumsspil, hvor de to spillere tilldes t ruge lndede strtegier. Spil med positiv værdi Disse er fvorle for Alice. Hun hr en lndet strtegi, som giver positivt middelpyoff unset hvd Bo gør. Spil med negtiv værdi Disse er fvorle for Bo. Hn hr en lndet strtegi, som giver Alice en negtiv middelpyoff (og dermed sig selv en positiv middelpyoff) unset hvd hun gør. Spil med værdi nul Disse er hverken fvorle for Alice eller Bo. Både Alice og Bo hr en lndet strtegi, som vil give dem egge en middelpyoff på nul unset hvd den nden gør. 8

10 2.5 f ( s, ).5 s Med dette resultt i ghovedet kunne det jo være rrt t kunne udregne et spils værdi smt de optimle strtegier. Det foregår ved en form for lineær optimering. For t kunne illustrere metoden vil vi holde os til eksempler, hvor Alice hr 2 rene strtegier, efter t lle dominerede strtegier er levet fjernet. Vi vil i første omgng ntge t Bo også kun hr 2 strtegier. I de følgende illustrtioner tges der udgngspunkt i følgende pyoff mtrix for Alice Py-off for Alice,5 2 Alice og Bo tilldes, t ruge lndede strtegier. Vi tænkler os, t Alice lnder strtegierne og i forholdet s og s, hvor s [; ]. Denne lndede strtegi vil vi etegne s. Bos strtegier klder vi og. Hvis Bo vælger strtegien liver middelværdien f kriteriefunktionen f ( s, ) = ( s) f (, ) + sf (, ). Vi emærker, t dette er en lineær funktion f s. Vi tegner grfen for denne funktion. Hvis Bo vælger strtegien is stedet får mn en nden ret linje. Hvis den ene linje lå over den nden ville det etyde t den ene f Bos strtegier ville dominere den nden. Det hr vi ntget ikke er tilfældet. Derfor vil de to linjer skære hinnden. Bo ønsker t minimere kriteriefunktionen og vil derfor ltid vælge den nederste kurve. Det optimle lndingsforhold for Alice svrer derfor til skæringspunktet for de rette linjer, som vi vil klde P. Ld os etegne det tilsvrende lnd- 9

11 2 f ( s, ).5 f ( s, ) P.5 s min{f ( s, ), f ( s, )}.5 P.5 s

12 2 f ( s, ).5 f ( s, ) P.5 s ingsforhold s. På figuren liver s = /3. Den lndede strtegi med denne lndingsforhold etegner vi s. D gælder, t f( s, ) = f( s, ). Hvis Alice lver den optimle lnding for t mksimere den minimle py-off, så gælder der med ndre ord t Bos rene strtegier giver smme middelpyoff. Hvis lot den ene spiller vælger den optimle strtegi vil middelgevinsten være f (, ) unset hvd den nden spiller foretger sig. Antg t Bo lnder sine strtegier og i forholdet ( t) og t, og vi klder denne lndede stregi for t. For et givet t kn vi filde middelværdien som funktion f s og få f ( s, t ) = ( s) f (, t ) + sf (, t ), hvilket igen er en ret linje. Hvis vi indsætter s = s får vi f ( s, t ) = ( t) f ( s, ) + tf ( s, ) = ( t) f ( s, ) + tf ( s, ) = f ( s, ). Det etyder t unset vlget f t vil den rette linje ( s) f (, t ) + sf (, t ) gå gennem punktet P. Hvis Alice ved t Bo vælger den lndede strtegi t, så vil Alice vælge den rene strtegi, som svrer til det højeste endepunkt. Bo ønsker, t det højeste endepunkt ligger så lvt som muligt og vælger derfor t så den rette linje er

13 vndret. Denne strtegi for Bo vil vi klde t. Hvis Bo vælger denne strtegi, vil middelpyoff for Alice ikke fhænge f hendes vlg f strtegi. Vi ser, t ( s, t ) er en Nsh-ligevægt. Hvis lot den ene spiller vælger den optimle strtegi, vil middelgevinsten være f ( s, t ) unset hvd den nden spiller foretger sig. 4 Hndel med sndsynligheder Hvis vi i en eslutningssitution skl ruge Lplce-kriteriet, skl vi ruge en sndsynlighedsfordeling. Hvis det drejer sig om et emne, hvorom vi ingen særlig indsigt hr, kn det være klogt t kontkte en ekspert og få ekspertens ud på en sndsynlighedsfordeling. Hvis vi f.eks. ønsker t vide noget om sndsynligheden for regn i morgen, kn vi kontkte en meteorolog, som så kn give sit ud på hvilket tl vi skl ruge som sndsynligheden for regn i morgen. Hvis mn i stedet forestiller sig, t en generl ønsker sig viden om nolndets forsvr, vil hn kontkte sin efterretningstjeneste. Mn kunne også forestille sig en person, som ønsker t foretge en ktiehndel og derfor gerne vil høre en ekspertvurdering f sndsynligheden for t en estemt ktie går op eller ned. Men kn vi stole på ekspertens udtlelser? Hr eksperten sin egen dgsorden, som hn kn forfølge ved t fejlinformere os? Det ønsker vi nturligvis t undgå, så vi vil etle eksperten svrende til kvliteten f ekspertens forudsigelser. Spørgsmålet er lot hvordn vi skl gøre. Vi vil først præcisere prolemet. Vi etler en spåmnd for t give os en sndsynlighedfordeling for t en størrelse X ntger en f værdierne x, x 2,... Spåmnden liver elønnet som følger. Vi venter med t elønne spåmnden indtil vi hr set hvilken værdi X får. Hvis X ntger værdien x i og spåmnden hr sgt, t X = x i indtræffer med sndsynlighed q i, så vil spåmnden modtge eløet f (q i ), hvor f er en pssende vlgt differentilel funktion med definitionsmængde [; ]. Ideen er t vælge f som en voksende funktion, så hvis spåmnden hr forudsgt det som rent fktisk indtræffer med stor sndsynlighed, så tjener hn meget og hvis der sker noget som spåmnden sgde hvde lv sndsynlighed, så skl hn ikke hve meget i løn. Definition 3 Funktionen f siges t give en ægte score-regel dersom den motiverer spåmnden til ltid t være ærlig. Denne definition kræver lidt forklring. Hvis spåmnden selv udregner sndsynligheder med sndsynlighedsfordelingen p, p 2,... og vælger t give os sndsynlighedsfordelingen q, q 2,... så vil middelværdien f spåmndens score være p f (q ) + p 2 f (q 2 ) + + p n f (q n ). Funktionen f er derfor en ægte scorefunktion, hvis middelscore er mksiml når q i = p i. Sætning 4 Funktionen f (x) = ln x giver en ægte score-funktion. 2

14 Proof. Vi skl vise t p ln (p ) + p 2 ln (p 2 ) + + p n ln (p n ) p ln (q ) + p 2 ln (q 2 ) + + p n ln (q n ). Dette er det smme som t vise t (p ln (q ) + p 2 ln (q 2 ) + + p n ln (q n )) (p ln (p ) + p 2 ln (p 2 ) + + p n ln (p n )) = p ln q p + p 2 ln q 2 p p n ln q n p n er negtiv. Det pproksimerende førstegrdspolynomium for den nturlige logritmefunktion omkring er ln x x. D den nturlige logritmefunktion er konkv ligger grfen under sin tngent og der gælder derfor ln x x og lighedstegn gælder kun for x =. Det viser t p ln q p + p 2 ln q 2 p p n ln q n p ( q p ) p n + p 2 ( q2 p 2 ) ( ) qn + + p n p n = (q + q q n ) (p + p p n ) = =. Sætning 5 Hvis f er en differentiel funktion med definitionsmængde ]; ], giver en ægte score-regel, så findes konstnter ]; [ og k R, så f (x) = ln x + k. Proof. For enhver sndsynlighedsfordeling p, p 2,... er middelgevinssten for spåmnden p f (p ) + p 2 f (p 2 ) + + p n f (p n ) hvis hn giver os sndsynlighedsfordelingen (p, p 2,..., p n ) og p f (p + x) + p 2 f (p 2 x) + + p n f (p n ) hvis spåmnden i stedet giver os sndsynlighedsfordelingen (p + x, p 2 x,..., p n ). D det edst skl kunne etle sig for spåmnden t give os den sndsynlighedsfordeling hn selv ruger til t udregne sin middelpyoff, gælder der p f (p ) + p 2 f (p 2 ) + + p n f (p n ) p f (p + x) + p 2 f (p 2 x) + + p n f (p n ) og dermed p f (p ) + p 2 f (p 2 ) p f (p + x) + p 2 f (p 2 x). 3

15 Vi indfører funktionen g (x) = p f (p + x) + p 2 f (p 2 x) og ser t g hr mksimum for x =. Den fledte t g eregnes som g (x) = p f (p + x) p 2 f (p 2 x). D g () = hr vi p f (p + ) p 2 f (p 2 ) = og dermed p f (p ) = p 2 f (p 2 ). Dette gælder for lle p og p 2 i ]; ] så der findes en konstnt så pf (p) =. Derfor gælder f (p) = p. Derfor er f en stmfunktion til funktionen /p og dermed må der gælde f (p) = ln p + k for en konstnt k. 4