Betingede fordelinger

Transkript

1 Kapitel 21 Betingede fordelinger Hvis man i et eksperiment observerer to stokastiske variable, X og Y, er det ofte hensigtsmæssigt at skrue sin sandsynlighedsteoretiske model sammen på en sådan måde at eksperimentet ses som todelt: først observeres X - dernæst observeres Y. Det er naturligt at tænke at den mekanisme hvorefter Y trækkes afhænger af hvilket resultat der kom ud af X-målingen. En sådan totrinsmodel kan fremkomme ved desintegration af den simultane fordeling af X og Y - vi taler om at finde den betingede fordeling af Y givet X. Mange eksperimenter har rent fysisk denne totrinskarakter. Men også for eksperimenter der ikke i praksis forløber efter et totrinsskema kan beskrivelsen af forsøget via en betinget fordeling være et nyttigt værktøj til at forstå samvariationen mellem de to variable Definition af betingede fordelinger Lad X og Y være stokastiske variable fra (Ω,F, P) ind i (X,E) henholdsvis (Y,K). Den simultane fordeling af X og Y, altså billedmålet (X, Y)(P), er et sandsynlighedsmål på (X Y,E K). Hvis denne fordeling kan desintegreres med hensyn tilx, kaldes den resulterende (X, E)-Markovkerne på (Y, K) for den (regulære) betingede fordeling af Y givet X. 442

2 21.1. Definition af betingede fordelinger 443 BEMÆRK: Vi ynder at tale om den betingede fordeling. Men det fremgår af entydighedssætning for mål fremkommet ved integration, at Markovkernen ikke er helt entydigt bestemt: der kan altid fifles med nulmængder. Hvis man skal være helt konsistent, bør man tale om én betinget fordeling. Men den ubestemte sprogbrug er ikke til at bære i længden, og derfor formulerer man sig som om betingede fordelinger er helt entydige og altid eksisterer. Sætning 21.1 Lad X og Y være stokastiske variable fra (Ω,F, P) ind i (X,E) henholdsvis (Y,K). Hvis ( ˆP x ) x X er den betingede fordeling af Y givet X, så gælder der at P(X A, Y B)= ˆP x (B) dx(p)(x) for A E, B K. (21.1) A Omvendt, hvis ( ˆP x ) x X er en (X,E)-Markovkerne på (Y,K) som opfylder (21.1), så er ( ˆP x ) x X den betingede fordeling af Y givet X. BEVIS: Hvis ( ˆP x ) x X er den betingede fordeling af Y givet X, så er P(X A, Y B)=(X, Y)(P)(A B)= ˆP x (B) dx(p)(x). Omvendt, hvis ( ˆP x ) x X er en Markovkerne der opfylder (21.1), så kan vi ladeλvære integrationen af ( ˆP x ) x X med hensyn til X(P). Formel (21.1) siger atλog (X, Y)(P) stemmer overens på produktmængder A B. Men disse mængder udgør et fællesmængdestabilt frembringersystem fore K, såλ=(x, Y)(P). Idet ( ˆP x ) x X per konstruktion er desintegrationen afλmed hensyn tilx, følger det nu at ( ˆP x ) x X er den betingede fordeling af Y givet X. Fortolkningen af den betingede fordeling af Y givet X er at ˆP x beskriver fordelingen af Y hvis vi ved at X=x. Man står sig ved at tænke i disse baner, uden dog at tage fortolkningen alt for alvorligt. Den er nemlig svær at tillægge nogen præcis mening. Problemet er at man ofte betinger med en nulmængde. Hvis man skal angive den betingede fordeling af Y givet X, er det ikke nødvendigt at angive en fuld Markovkerne ( ˆP x ) x X. Siden Markovkernen skal integreres med hensyn til X(P), er det nok at angive ( ˆP x ) x A0, indiceret ved punkterne i en mængde A 0 E med P(X A 0 )=1. A

3 444 Kapitel 21. Betingede fordelinger Notationen med en Markovkerne ( ˆP x ) x X, der gør ditten og datten, er hensigtsmæssig i forbindelse med teoretiske argumenter. Men i mere konkrete sammenhænge, virker den skrækindjagende tung. Man skriver da ofte P(Y B X=x) i stedet for ˆP x (B). (21.2) Hvis hvert ˆP x har tæthed med hensyn til et grundmålνpå (Y,K) skriver vi ofte f (y X=x) - eller blot f (y x) - for den tæthed, der hører til ˆP x. Sætning 21.2 Lad X og Y være stokastiske variable fra (Ω,F, P) ind i (X,E) henholdsvis (Y,K). Hvis X og Y er uafhængige, så er Markovkernen ( ˆP x ) x X givet ved at ˆP x = Y(P) for alle x X (21.3) den betingede fordeling af Y givet X. BEVIS: Det er klart at (21.3) specificerer en Markovkerne. Og vi ser at ˆP x (B) dx(p)(x)=p(y B) 1 dx(p)(x)=p(y B) P(X A). A Uafhængigheden sikrer at det sidste udtryk er lig P(X A, Y B). A Sætning 21.3 Lad X og Y være stokastiske variable fra (Ω,F, P) ind i (X,E) hhv. (Y,K). Hvis den betingede fordeling ( ˆP x ) x X af Y givet X opfylder at ˆP x1 = ˆP x2 for alle x 1, x 2 X, (21.4) så er det fælles mål ˆP x lig med fordelingen af Y, og X og Y er uafhængige. BEVIS: Lad x 1 Xvære et fast valgt element. Vi har for B Kat P(Y B)= P(X X, Y B)= ˆP x (B) dx(p)(x) X = ˆP x1 (B) 1 dx(p)(x)= ˆP x1 (B),

4 21.1. Definition af betingede fordelinger 445 så ˆP x1 er vitterligt lig med fordelingen af Y. Og for A E, B K er P(X A, Y B)= ˆP x (B) dx(p)(x)= ˆP x1 (B)P(X A) A = P(X A)P(Y B) så X og Y er uafhængige. Uafhængighed mellem to variable X og Y er altså det samme som at den betingede fordeling af X givet Y (eller omvendt) er konstant. Hvis den betingede fordeling omvendt består af meget forskellige sandsynlighedsmål, kan det naturligt fortolkes som en kraftig afhængighed mellem X og Y. En hurtig formulering af disse to sætninger, hvor man ikke bekymrer sig om nulmængder og den slags, er at sige at X og Y er uafhængige hvis og kun hvis sandsynlighederne P(Y B X = x) ikke afhænger af det x vi betinger med. Vi skal nu se, at betingede fordelinger i det diskrete tilfælde blot er elementære betingede fordelinger givet hændelser, der har positive sandsynligheder. Sætning 21.4 Lad X og Y være stokastiske variable fra (Ω,F, P) ind i (X,E) henholdsvis (Y,K). Antag atxer endelig eller tællelig, og ateer systemet af alle delmængder påx. Den betingede fordeling ( ˆP x ) x X af Y givet X er da bestemt ved at ˆP x (B)= for alle x Xmed P(X=x)>0. P(X=x, Y B), B K (21.5) P(X=x) BEVIS: Lad A 0 ={x X P(X=x)>0}. Bemærk at X(P)(A 0 )=1 så (21.5) definerer virkelig en (X, E, X(P))-Markovkerne på (Y, K) - måleligheden behøver man end ikke at tænke over, for alle funktioner påxere-målelige. For alle B Khar vi at A ˆP x (B) dx(p)(x)= = A A 0 P(X=x, Y B) ˆP x (B) dx(p)(x)= P(X=x) P(X=x) x A A 0 x A A 0 P(X=x, Y B)=P(X A, Y B). Så ( ˆP x ) x X er vitterligt den betingede fordeling af Y givet X.

5 446 Kapitel 21. Betingede fordelinger Normalt skriver man formel (21.5) på formen P(Y B X=x)= P(X=x, Y B) P(X=x) Hvis også Y er diskret, kan man nøjes med at angive de betingede sandsynlighedsfunktioner, P(X=x, Y= y) P(Y= y X=x)=. P(X=x) I elementære sammenhænge bruges denne formel gerne som definitionen af betingede fordelinger. Eksempel 21.5 Lad der være givet en urne med ialt N kugler. Heraf er N 1 røde, og de øvrige N N 1 er hvide. Vi trækker kugler fra denne urne, og bruger notation 1 hvis den i te udtrukne kugle er rød X i = 0 hvis den i te udtrukne kugle er hvid. Det er klart at P(X 1 = 1)= N 1 N, P(X 1= 0)= N N 1, N mens fordelingen af de øvrige X i er afhænger af reglerne for hvordan urnens indhold ændres i løbet af trækningsprocessen. Det er som regel nemt at oversætte reglerne til betingede fordelinger, mens det kræver større omtanke at oversætte dem til simultane fordelinger eller marginale fordelinger. Hvis den udtrukne kugle lægges tilbage i urnen igen inden næste kugle trækkes, så er urnens tilstand inden i te trækning præcis den samme som inden første trækning, uanset hvad der er trukket. Derfor er P(X i = 1 X 1 = x 1,..., X i 1 = x i 1 )= N 1 N. for alle (x 1,..., x i 1 ) {0, 1} i 1. Det følger derfor af sætning 21.3 at X i er uafhængig af (X 1,..., X i 1 ), og har samme fordeling som X 1. Altså: trækning med tilbagelægning fører til uafhængige, identisk fordelte trækninger. Hvis en udtrukket kugle derimod lægges til side inden næste kugle trækkes, så er urnens tilstand inden i te trækning afhængig af resultatet af de første trækninger. Hvis vi i første trækning har fået en rød kugle, så er der N 1 1 røde kugler og N N 1 hvide kugler tilbage inden anden trækning. Derfor er P(X 2 = 1 X 1 = 1)= N 1 1 N 1.

6 21.1. Definition af betingede fordelinger 447 Hvis vi i stedet har fået en hvid kugle i første trækning, så er der N 1 røde kugler og N N 1 1 hvide kugler tilbage inden anden trækning. Derfor er P(X 2 = 1 X 1 = 0)= N 1 N 1. Vi konstaterer at den betingede fordeling af X 2 givet X 1 = x 1 varierer med x 1, og derfor kan X 1 og X 2 ikke være uafhængige! Lad os finde den marginale fordeling fordeling af X 2. Det er blandingen af den betingede fordeling af X 2 givet X 1 med hensyn til den marginale fordeling af X 1. Mere konkret: P(X 2 = 1)=P(X 2 = 1 X 1 = 0)P(X 1 = 0)+P(X 2 = 1 X 1 = 1)P(X 1 = 1) = N 1 N 1 N N 1 N + N 1 1 N 1 N 1 N = N 1(N 1) N(N 1) = N 1 N. Interessant nok har X 2 samme marginale fordeling som X 1. Det kan godt være at den først trækning ændrer urnens indhold. Men hvis vi ikke ved hvad der er blevet trukket i første omgang, så kan vi sådan set være ligeglade. Der er information i at få at vide hvad der er blevet trukket - der er derimod ingen information i kun at få at vide at der er blevet trukket. Vi kan også udlede den simultane fordeling af X 1 og X 2 ud fra de betingede fordelinger. Udblandingsformlen (21.1) giver at P(X 1 = 1, X 2 = 1)=P(X 2 = 1 X 1 = 1)P(X 1 = 1)= N 1 1 N 1 N 1 N, og tilsvarende for de øvrige punktsandsynligheder. Endelig kan man forestille sig situationer hvor X 2 observeres, mens X 1 holdes skjult. Den betingede fordeling af X 1 givet X 2 kan da findes ved hjælp af Bayes formel: P(X 1 = 1 X 2 = 0)= P(X 2=0 X 1 = 1)P(X 1 = 1) P(X 2 = 0) Tilsvarende er P(X 1 = 1 X 2 = 1)= P(X 2= 1 X 1 = 1)P(X 1 = 1) P(X 2 = 1) = = N N 1 N 1 N N 1 N N 1 1 N 1 N 1 N N 1 N N 1 N = N 1 N 1, = N 1 1 N 1, Der er en interessant symmetri i problemstillingen: den betingede fordeling af X 1 givet X 2 er identisk med den betingede fordeling af X 2 givet X 1!

7 448 Kapitel 21. Betingede fordelinger Vi kan fortsætte trækningen, og skrive den betingede fordeling af X i+1 op, givet resultatet af de første i trækninger. Hvis vi har opnået resultatet (X 1,..., X i )=(x 1,..., x i ), så har vi fået ialt x = i j=1 x j røde kugler, og der er derfor N 1 x tilbage. Tilsvarende er der N N 1 (i x ) hvide kugler tilbage i urnen. En strømlinet opskrivning af den betingede fordeling af X i+1 er derfor P(X i+1 = x i+1 X 1 = x 1,..., X i = x i )= (N 1 x ) x i+1 (N N 1 i+ x ) 1 x i+1. N i (21.6) Formlen giver for så vidt kun mening, hvis der stadig er både røde og hvide kugler tilbage i urnen - men det er jo også den eneste situation man er interesseret i at betinge med. Man kan finde den simultane fordeling af (X 1,..., X i+1 ) ved at blande ud i (21.6) med hensyn til den simultane fordeling af (X 1,..., X i ). Ved induktion opnås formlen P(X 1 = x 1,..., X i = x i )= N(x ) (N N 1 ) (i x ) N (i), (x 1,..., x i ) {0, 1} i, hvor x = i j=1 x j, og hvor de runde paranteser i potenserne betyder det nedstigende faktoriel fra (10.1). Eksempel 21.6 Lad (X 1,..., X N ) være polynomialfordelt med længde n og sandsynlighedsparameter (p 1,..., p N ). Vi vil finde den betingede fordeling af (X 1,..., X N 1 ) givet X N. Det følger af (21.5) at der er tale om en diskret fordeling, og vi behøver derfor kun at angive sandsynlighedsfunktionen q(x 1,..., x N 1 x), svarende til at vi betinger med X N = x. Vi ser at q(x 1,..., x N 1 x)= P(X 1=x 1,..., X N 1 = x N 1, X N = x). P(X N = x) Tælleren bliver nul, medmindre x=0, 1,...,n og medmindre (x 1,..., x N 1 ) S (N 1, n x). Er disse betingelser opfyldt, og udnytter vi at X N er binomialfordelt med længde n og successandsynlighed p N, får vi at q(x 1,..., x N 1 x) er lig med ( nx1,..., x N 1, x ) N 1 i=1 p i x i p x ( ) N n x N 1 ( ) xi p i ( ) =. n x 1,..., x N 1 1 P p x x N (1 p N ) n x i=1 N Vi genkender dette som sandsynlighedsfunktionen for polynomialfordelingen med længde n x og sandsynlighedsparameter ( p 1 1 p N,..., p ) N 1 1 p N.

8 21.1. Definition af betingede fordelinger 449 Eksempel 21.7 Lad Y 1,...,Y n være uafhængige stokastiske variable, og antag at P(Y i = 0)=1 p, P(Y i = 1)= p for alle i=1,...,n. Lad X= n i=1 Y 1 være antallet af 1 ere. Vi ser at X er binomialfordelt med parametre (n, p). Vi ønsker at finde den betingede fordeling af (Y 1,...,Y n ) givet X=x, i form af den betingede sandsynlighedsfunktion q(y 1,...,y n x). Vi kan nøjes med at interessere os for x=0, 1,...,n. Hvis (y 1,...,y n ) er en 0/1- sekvens med n i=1 y i x, så er q(y 1,...,y n x)=0. Men hvis n i=1 y i = x ser vi at q(y 1,...,y n x)= P(Y 1=y 1,...,Y n = y n, X=x) = P(Y 1= y 1,...,Y n = y n ) P(X=x) P(X=x) ( ni=1 p y i (1 p) i) 1 y ( ) 1 n = ( ) =. n x p x x (1 p) n x Denne sandsynlighedsfunktion afhænger ikke af den konkrete sekvens (y 1,...,y n ) - på anden måde end gennem indikatoren for om deres sum er x. Den betingede fordeling af (Y 1,...,Y n ) givet X=x er således ligefordelingen på mængden {(y 1,...,y n ) {0, 1} n y y n = x}. Resultatet er intuitivt uhyre rimeligt: hvis vi ved at der skal være x 1 ere i sekvensen, så skal de jo placeres. Men når Y erne er uafhængige og identisk fordelte, er der ikke noget der taler for at de skal placeres på den ene måde snarere end den anden. Eksempel 21.8 Lad Y 1,...,Y n være uafhængige stokastiske variable, og antag at hvert Y i er Poissonfordelt med sin egen parameterλ i. Lad X = n i=1 Y i. Da er X Poissonfordelt med parameterλ λ n. Vi ønsker at finde den betingede fordeling af (Y 1,...,Y n ) givet X=x, i form af den betingede sandsynlighedsfunktion q(y 1,...,y n x). Vi kan nøjes med at interessere os for x=0, 1, 2,... Hvis (y 1,...,y n ) er en sekvens af heltal med n i=1 y i x, så er q(y 1,...,y n x)=0. Men hvis n i=1 y i = x ser vi at ( ni=1 λ y i i ) y q(y 1,...,y n x)= i! e λ i ( ) n ( ) yi (λ λ n ) x x! e = x λ i. (λ λ n ) y 1,...,y n λ i= λ n

9 450 Kapitel 21. Betingede fordelinger Vi ser heraf at givet X=x er (Y 1,...,Y n ) polynomialfordelt med længde x og sandsynlighedsparameter ( ) λ 1 λ λ λ n,..., n λ λ n. Lad os også give et par eksempler på situationer med kontinuerte stokastiske variable, hvor vi på elementær vis kan udregne betingede fordelinger. Eksempel 21.9 Lad X 1,..., X n være uafhængige variable, alle eksponentialfordelte med parameter β > 0. Den simultane tæthed er f 1 (x 1,..., x n )= 1 β n e 1 β (x x n ) for x i > 0, i=1,...,n. Lad Y 1,...,Y N være de kumulerede summer, altså Y i = i j=1 X j for i=1,...,n. Den simultane tæthed for fordelingen af (Y 1,...,Y n ) findes til at være f (y 1,...,y n )= 1 β n e yn β for 0<y 1 <...<y n. Vi ved at Y i erne erγ-fordelte, specielt har Y n formparameter n og skalaparameterβ, dvs. tætheden for fordelingen af Y n er g(y n )= 1 Γ(n)β n yn 1 n e yn β for y n > 0. Det følger derfor af sætning 20.17, at den betingede fordeling af (Y 1,...,Y n 1 ) givet Y n = y n har tæthed f (y 1,...,y n 1 y n )= f (y 1,...,y n 1, y n ) g(y n ) hvis 0<y 1 <...<y n 1 < y n. Dette er ligefordelingen på mængden {(y 1,...,y n 1 ) R n 1 0<y 1 <...<y n 1 < y n }. = (n 1)! y (n 1) n (21.7) Vi er faktisk stødt på denne fordeling før, i forbindelse med ordnede, ligefordelte variable. Hvis U 1,...,U n 1 er uafhængige og ligefordelte på (0, y n ), vil de ordnede variable U (1),...,U (n 1) ifølge sætning også have tæthed givet ved (21.7). Eksempel Lad X væren(0,σ 2 )-fordelt. Lad Y 1,...,Y n være yderligere stokastiske variable på samme baggrundsrum, og antag at betinget med at X=x er Y erne uafhængigen(x,ν 2 )-fordelte. Den betingede tæthed af Y erne givet X=x er altså f (y 1,...,y n x)= n ( i=1 1 2πν 2 e (y i x)2 2ν 2 )= ( 1 2πν 2 ) n/2 e n i=1 (y i x) 2 /2ν 2.

10 21.1. Definition af betingede fordelinger 451 Den simultane fordeling af X, Y 1,...,Y n har ifølge sætning 20.8 tæthed ( 1 x2 e 2πσ 2 2σ 2 )( ) n/2 1 2πν 2 e n i=1 (y i x) 2 /2ν 2 e (x2 /2σ 2 + n i=1 (y i x) 2 /2ν 2), hvor betyder at vi har droppet normeringskonstanterne. Vi ønsker at finde den betingede fordeling af X givet alle Y erne. Bayes formel fortæller at den betingede tæthed af X givet (Y 1,...,Y n )=(y 1,...,y n ) kan fås frem som e (x2 /2σ 2 + n i=1 (y i x) 2 /2ν 2 ) c(y 1,...,y n ) hvor c(y 1,...,y n ) er en passende normeringskonstant. Eksponenten i tælleren er faktisk et andengradspolynomium i x, så stort set uden at regne kan vi slå fast at den betingede fordeling af X givet (Y 1,...,Y n )=(y 1,...,y n ) er en normalfordeling, hvor middelværdi og varians i princippet afhænger af de konkrete y er. Regner man lidt omhyggeligere efter, identificerer man dette andengradspolynomium som 1 x2 n x2 2 σ2+ ν 2 2 x ni=1 y ni=1 i y 2 i ν 2 +. ν 2 Det kan bringes på formen 1 ( a (x b) 2 + d ) 2 med a= 1 n ni=1 σ 2+ ν 2, b= y ni=1 i y 2 i aν 2 d= aν 2 a b 2. Disse konstanter afhænger af y erne, men ikke af x. Den ønskede betingede fordeling kan således identificeres som normalfordelingen med middelværdi b og varians 1/a. Det mest interessante i dette resultat er måske hvad der sker når n er stor. I så fald vil b stort set være gennemsnittet af y erne og a vil være meget stor. Det vil sige at den betingede fordeling af X vil have en meget snæver fordeling omkring gennemsnittet af y erne. Selv om man måske ikke har observeret X, men kun et stort antal Y er, vil man således alligevel være i stand til at identificere X et ganske godt.

11 452 Kapitel 21. Betingede fordelinger 21.2 Regneregler for betingede fordelinger I dette afsnit vil vi angive en række transformationssætninger, der alle siger noget i denne retning: i en situation med tre eller flere stokastiske variable, hvor vi kender visse betingede fordelinger, så er visse andre betingede fordelinger givet ved formlen ( ) - her vil det konkrete indhold af ( ) naturligvis variere fra situation til situation. Det er kompliceret at forstå hvordan man specificerer fordelinger i situationer med tre eller flere stokastiske variable, så læseren opfordres til at bruge meget tid på at sætte sig ind i indholdet af sætningerne, nærmere end beviserne. De angivne formler er sjældent overraskende hvis man forstår problemstillingen, og beviserne er relativt mekaniske: først skal man gøre rede for at man ved formlen ( ) faktisk har angivet en Markovkerne, og derpå skal man sætte denne Markovkerne ind i (21.1) og kontrollere at pengene passer. Sætning (Substitutionssætningen) Lad X og Y være stokastiske variable fra (Ω,F, P) ind i (X,E) henholdsvis (Y,K), og lad ( ˆP x ) x X være den betingede fordeling af Y givet X. Lad der være givet endnu et målbart rum (Z,H) og en målelig afbildning φ :X Y Z. Sæt Z=φ(X, Y). Da eksisterer den betingede fordeling af Z givet X, og den er givet som ( P x ) x X, hvor P x = (φi x )( ˆP x ). BEVIS: For et fast C Her P x (C)= ˆP x ((φi x ) 1 (C))= ˆP x ((φ 1 (C)) x ), hvilket er måleligt som funktion af x da ( ˆP x ) x X er en Markovkerne. Altså er ( P x ) x X en Markovkerne. Betragt nu for A E og C H Det ses at hvis x A, så er P(X A, Z C)=(X, Y)(P)(A Y φ 1 (C)). (A Y φ 1 (C)) x =,

12 21.2. Regneregler for betingede fordelinger 453 og hvis x A, så er (A Y φ 1 (C)) x = (φ 1 (C)) x = (φi x ) 1 (C). Og dermed er P(X A, Z C)= præcis som ønsket. A ˆP x ((φi x ) 1 (C)) dx(p)(x)= A P x (C) dx(p)(x), Substitutionssætningen ser nok skrækindjagende ud når den udtrykkes i så formelt et sprog, som det der anvendes i sætning Men i mange praktiske situationer forekommer indholdet så oplagt at man ikke engang opdager at der er noget at argumentere for. Hvis vi observerer at X=x, så må Z jo væreφ(x, Y). Med andre ord er Z en simpel transformation af Y, når X er fastlagt. Derfor må fordelingen af Z kunne fås frem som et billedmål af fordelingen af Y. Når substitutionssætningen fremtræder så indviklet, er det udelukkende fordi den transformation, man skal bruge for at komme fra Y til Z varierer med X-værdien. Men det forhold er i praksis ikke noget der forvirrer. Eksempel Lad Y 1,...,Y M være uafhængige, indentisk fordelte reelle stokastiske variable - vi kalder den fælles fordeling af disse variable for ν. Lad N være en heltallig stokastisk variabel med værdier mellem 1 og M, og antag at N er uafhængig af Y erne. Vi ønsker at studere den stokastiske sum Z= N Y n. (21.8) n=1 Sådanne summer over et stokastisk antal variable dukker op i mange sammenhænge i anvendt sandsynlighedsregning. Man kan f.eks. tænke på N som antallet af skader der i et givet tidsrum indrapporteres til et forsikringsselskab, og Y erne kan være størrelsen af de enkelte skader. Summen Z repræsenterer da den samlede udgift for forsikringsselskabet i perioden. Man kan i nogen grad afmystificere den stokastiske sum ved at skrive den som Z= M 1 (n N) Y n. (21.9) n=1

13 454 Kapitel 21. Betingede fordelinger Skrevet på denne måde, ser vi at Z er en almindelig sum uden narrestreget af M stokastiske variable. Når vi ikke uden videre foretrækker denne beskrivelse, er det fordi leddene hverken er uafhængige eller identisk fordelte, som vi nu skal se. Hvis vi fastholder et n mellem 1 og M, så ved vi at Y n er uafhængig af N. Så den betingede fordeling af Y n givet N= k er lig medνuanset værdien af k. Den summand i (21.9) der er knyttet til Y n er Z n = 1 (n N) Y n, og det kan selvfølgelig opfattes som en transformation af N og Y n. Hvis vi lader ( ˆP k ) k=1,...,m være den betingede fordeling af Z n givet N, så ser vi af substitutionssætningen at ǫ 0 for k=1,...,n 1, ˆP k = ν for k=n,..., M, hvorǫ 0 er etpunktsmålet i 0. Derfor er den marginale fordeling af Z n bestemt ved at P(Z n A)= k=1 ˆP k (A) dn(p)(k)= M ˆP k (A) P(N= k) k=1 n 1 M = ǫ 0 (A) P(N= k)+ ν(a) P(N= k) k=n =ǫ 0 (A) P(N< n)+ν(a) P(N n). Denne fordeling varierer med n - i sagens natur får atomet i 0 større sandsynlighed når n vokser. Og derfor er leddene i (21.9) ikke identisk fordelte. Hvis vi ser på m<n, så er (Y m, Y n ) uafhængig af N, og den betingede fordeling af (Y m, Y n ) givet N= k er derfor lig medν ν for alle værdier af k. Af substitutionssætningen følger det på samme måde som før at den betingede fordeling ( ˆQ k ) k=1,...,m af (Z m, Z n ) er givet ved ǫ 0 ǫ 0 for k=1,...,m 1, ˆQ k = ν ǫ 0 for k=m,...,n 1, ν ν for k=n,..., M.

14 21.2. Regneregler for betingede fordelinger 455 Vi kan beskrive fordelingen af (Z m, Z n ) ved at blande denne betingede fordeling ud: P(Z m A, Z n B)= M k=1 ˆQ k (A B) P(N= k) m 1 n 1 = ǫ 0 ǫ 0 (A B) P(N= k)+ ν ǫ 0 (A B) P(N= k) k=1 + k=m M ν ν(a B) P(N= k) k=n =ǫ 0 (A)ǫ 0 (B) P(N< m)+ν(a)ǫ 0 (B) P(m N< n) +ν(a)ν(b) P(n N). Dette spalter ikke op i et produkt af P(Z m A) og P(Z n B) - i produktet vil der f.eks. indgå led af formenǫ 0 (A)ν(B), der slet ikke optræder i den simultane fordeling - og vi kan derfor konstatere at Z m og Z n er afhængige. Hvilket strengt taget ikke er overraskende: hvis Z n = 0 vil det nok typisk være fordi N< n, og alt andet lige øger naturligvis sandsynligheden for at Z m = 0. Eller omvendt: hvis Z n 0, så kan N umuligt være mindre end n, og derfor er Z m næppe heller nul. Summen (21.9) er ikke entydig behagelig at have med at gøre, når leddene nu hverken er uafhængige eller identisk fordelte, og man står sig ofte ved at arbejde med repræsentationen (21.8). Man kan observere at den betingede fordeling af (Y 1,...,Y M ) givet N= k er produktmåletν... ν (med M faktorer), uanset værdien af k. Man kan også bemærke at hvis vi sætter φ(k, y 1,...,y M )= så er Z=φ(N, Y 1,...,Y M ). For fastholdt k kan man regne afbildningen k n=1 y i (y 1,...,y M ) φ(k, y 1,...,y M ) ud i to trin: først projicerer man ned på de første k koordinater, og dernæst lægger man disse koordinater sammen. Det første af disse trin senderν M over iν k, det næste trin senderν k over i den almindelige foldningν... ν (med k faktorer). Substitutionssætningen siger derfor at den betingede fordeling ( ˆR k ) k=1,...,m af Z givet

15 456 Kapitel 21. Betingede fordelinger N må være ˆR k = ν hvis k=1 ν ν hvis k=2.. ν M hvis k= M. Eller mere kortfattet: den betingede fordeling af N n=1 Y n givet N = k er identisk med fordelingen af k n=1 Y n. Den påstand lyder så oplagt når man hører den, at det kan være svært at fornemme at der overhovedet er noget at vise. Men bemærk at resultatet kun er rigtigt fordi N er uafhængig af Y erne. Eksempel Lad X og Y være reelle variable, sådan at den simultane fordeling af (X, Y) er en Dirichletfordeling med parametre ( λ 1,λ 2,λ ). Den simultane fordeling af (X, Y) har da tæthed f (x, y)= Γ(λ+λ 1+λ 2 ) Γ(λ)Γ(λ 1 )Γ(λ 2 ) xλ 1 1 y λ 2 1 (1 x y) λ 1 på mængden{(x, y) R 2 0< x, 0<y, x+y<1}. Den marginale fordeling af X er da en B-fordeling med parametre (λ 1,λ 2 +λ), dvs. den har tæthed g(x)= Γ(λ+λ 1+λ 2 ) Γ(λ 1 )Γ(λ 2 +λ) xλ 1 1 (1 x) λ 2+λ 1, x (0, 1). Den betingede fordeling ˆP x af Y givet X=x for x (0, 1) lever da på intervallet (0, 1 x) og har tæthed f x (y)= f (x, y) g(x) = Γ(λ ( 2+λ) Γ(λ)Γ(λ 2 ) y 1 x ) λ2 1( 1 y ) λ x 1 x. Transformeres ˆP x med afbildningen y y 1 x, fås en B-fordeling med parametre (λ 2,λ). Ifølge sætning er den konstante familie af B-fordelinger med parametre Y (λ 2,λ) indiceret ved x (0, 1) da den betingede fordeling af 1 X givet X. Det følger Y Y da af sætning 21.3, at 1 X og X er indbyrdes uafhængige, og at 1 X er B-fordelt med formparametre (λ 2,λ).

16 21.2. Regneregler for betingede fordelinger 457 Sætning Lad X og Y være stokastiske variable fra (Ω, F, P) ind i henholdsvis (X,E) og (Y,K), og lad ( ˆP x ) x X være den betingede fordeling af Y givet X. Lad (Z, H) være endnu et målbart rum, lad t : X Z være en E H-målelig afbildning, og lad Z= t(x). Da er den betingede fordeling ( ˆQ x,z ) (x,z) X Z af Y givet (X, Z) givet ved ˆQ x,z = ˆP x for alle x X, z Z. (21.10) BEVIS: Man overbeviser sig let om at (21.10) virkelig definerer en (X Z,E H)- Markovkerne ( ˆQ x,z ) (x,z) X Z på (Y,K). For A E, B K og C H er ˆQ x,z (B) d(x, Z)(P)(x, z)= 1 A C (x, z) ˆQ x,z (B) d(id, t) X(P)(x, z) A C = 1 A C (id, t)(x) ˆQ (id,t)(x)(b) dx(p)(x) = 1 A t 1 (C)(x) ˆP x (B) dx(p)(x). Da ( ˆP x ) x X er den betingede fordeling af Y givet X, identificeres det sidste integral som P(X A t 1 (C), Y B)= P(X A, Z C, Y B) = P((X, Z) A C, Y B). Ved at holde B fast og lade A og C variere fås (ved hjælp af entydighedssætningen for endelige mål) at ˆQ x,z (B) d(x, Z)(P)(x, z)=p((x, Z) G, Y B) G for alle G E K og alle B K. Altså er ( ˆQ x,z ) (x,z) X Z vitterligt den betingede fordeling af Y givet (X, Z). I praksis er sætning tæt på at være indholdsløs. Den betingede fordeling af Y givet X repræsenter hvad vi ved om Y når X er kendt. Hvis vi ud over X får oplyst værdien af Z= t(x), så er vi ikke det mindste bedre stillet hvad angår information om Y: hvis vi ikke havde fået Z oplyst, kunne vi jo selv have regnet den ud. Så

17 458 Kapitel 21. Betingede fordelinger derfor må den betingede fordeling af Y givet både X og Z selvfølgelig være identisk med den betingede fordeling af Y givet X. Dog med den formelle modifikation at Markovkernen skal være indiceret med både X- og Z-værdier i det første tilfælde, men kun med X-værdier i det andet. Sætning beskæftiger sig med en af de situationer, hvor det er tydeligt at de betingede fordelinger ikke er entydigt givet. Variablen (X, Z) har ikke værdier i hele X Z, men kun på grafen for t, det vil sige mængden {(x, z) X Z z=t(x)}. Og derfor kan man sætte ˆQ x,z til hvad som helst uden for grafen for t, blot man respekterer visse målelighedskrav. Så (21.10) er langt fra den eneste mulige betingede fordeling af Y givet (X, Z) - det er blot den mest naturlige mulighed. Sætning Lad X og Y være stokastiske variable fra (Ω, F, P) ind i henholdsvis (X,E) og (Y,K), og lad ( ˆP x ) x X være den betingede fordeling af Y givet X. Lad (Z, H) være endnu et målbart rum, lad t : X Z være en E H-målelig afbildning, og lad Z= t(x). Hvis der findes en (Z,H)-Markovkerne ( ˆQ z ) z Z på (Y,K) sådan at så er ( ˆQ z ) z Z den betingede fordeling af Y givet Z. ˆP x = ˆQ t(x) for alle x X, (21.11) BEVIS: Tag C H og B K. Ifølge integraltransformationssætningen har vi at P(Z C, Y B)= P(X t 1 (C), Y B)= 1 t 1 (C)(x) ˆP x (B) dx(p)(x) = 1 C t(x) ˆQ t(x) (B) dx(p)(x)= 1 C (z) ˆQ z (B) d(tx)(p)(z) = ˆQ z (B) dz(p)(z). C Altså er ( ˆQ z ) z Z den betingede fordeling af Y givet Z. Eksempel Lad os som i eksempel 21.5 betragte et eksperiment, hvor der uden tilbagelægning trækkes kugler fra en urne. Antag at urnen på forhånd indeholder ialt

18 21.2. Regneregler for betingede fordelinger 459 N kugler, hvoraf N 1 kugler er røde kugler og de resterende N N 1 kugler er hvide. Vi ser på de stokastiske variable X i = 1 hvis den i te udtrukne kugle er rød 0 hvis den i te udtrukne kugle er hvid. og vi er specielt interesserede i hvordan det samlede antal røde kugler variere med hvor mange gange vi har trukket. Vi ser derfor på S n = n X i for n=0, 1,..., N. i=1 Det er klart at S 0 = 0 og S N = N 1, men processens opførsel mellem disse yderpunkter er ikke på forhånd klar. Vi viste i (21.6) at P(X n+1 = x X 1 = x 1,..., X n = x n )= N 1 s N n hvis x=1 1 N 1 s N n hvis x=0, (21.12) hvor s= n i=1 x i, i hvert fald hvis den konfiguration, vi betinger med, er mulig - der kræves altså at s N 1 og at n s N N 1. Den betingede fordeling afhænger således kun af den præcise konfiguration (x 1,..., x n ) gennem den transformerede værdi s, og derfor tillader sætning os at konkludere at P(X n+1 = x S n = s)= N 1 s N n hvis x=1 1 N 1 s N n hvis x=0. Det kan kombineres med substitutionssætningen til at sige at P(S n+1 = s S n = s)= Man kan nu relativt let regne igennem at ( N1 )( ) N N1 N 1 s N n hvis s = s+1 1 N 1 s N n hvis s = s. P(S n = s)= s n s ( ) N for s=0,...,n. (21.13) n

19 460 Kapitel 21. Betingede fordelinger Denne formel passer i hvert fald for n=1, og kan bevises for større n-værdier ved induktion: P(S n+1 = s )= n P(S n+1 = s S n = s)p(s n = s) s=0 = P(S n+1 = s S n = s )P(S n = s )+ P(S n+1 = s S n = s 1)P(S n = s 1) = (1 N 1 s ) ( )( N 1 N N1 ) ( s n s ) + N 1 (s N1 )( N N1 ) 1) s 1 n (s 1) ( N n N n N, n) ( N n der ved en vis regnemæssig indsats kan reduceres til den relevante version af (21.13). Resultatet kommer selvfølgelig ikke bag på nogen: Vi har på en ganske kompliceret måde vist at S n er hypergeometrisk fordelt. Det blev opfattet som selvindlysende i eksempel 10.1, og det er det vel også. Men der er nogle symmetriovervejelser involveret i den elementære behandling af trækning uden tilbagelægning, og disse symmetriovervejelser kan man godt komme i alvorlig tvivl om, når man begynder at tænke efter. Den behandling vi lige har givet, fokuserer på situationen i de enkelte trækninger, og har ingen overordnede betragtninger om symmetri - til gengæld må man trække på et større tekniske apparat for at få resultaterne frem. Eksempel Man kan ofte anvende sætning til at ændre den information man betinger med. Hvis ( ˆP x ) x X er den betingede fordeling af Y givet X, og hvis Z= t(x) er en bijektiv transformation af X, så vil den betingede fordeling ( ˆQ z ) z Z af Y givet Z kunne findes som ˆQ z = ˆP t 1 (z) for z Z. Det følger, fordi denne definition af ˆQ smertefrit sikrer at (21.11) er opfyldt. I eksempel kan den fundamentale formel (21.12) f.eks. uden videre erstattes med N 1 s n N n hvis x=1 P(X n+1 = x S 1 = s 1,...,S n = s n )= 1 N 1 s n N n hvis x=0, fordi (S 1,...,S n ) er en bijektiv transformation af (X 1,..., X n ). Kombineres det med substitutionssætningen, fås at N 1 s n N n hvis s= s n + 1 P(S n+1 = s S 1 = s 1,...,S n = s n )= 1 N 1 s n N n hvis s= s n,

20 21.2. Regneregler for betingede fordelinger 461 Denne formel viser når der trækkes uden tilbagelægning fra en urne, så udvikler antallet af udtrukne kugler af en bestemt farve sig som en tidsinhomogen Markovkæde, se f.eks. Norris (1998). Det er en Markovkæde, fordi ovenstående betingede fordeling kun afhænger af historien (s 1,..., s n ) gennem s n. Og Markovkæden er inhomogen, fordi den måde s n indgår i formlen på ændres med n. Sætning Lad X, Y og Z være stokastiske variable fra (Ω, F, P) ind i henholdsvis (X,E), (Y,K) og (Z,H). Lad ( ˆQ x,y ) (x,y) X Y være den betingede fordeling af Z givet (X, Y), og lad ( ˆP x ) x X være den betingede fordeling af Y givet X. Da er ( ˆR x ) x X den betingede fordeling af Z givet X, hvor ˆR x (C)= ˆQ x,y (C) d ˆP x (y) C H. (21.14) BEVIS: For fast x X konstaterer vi at den reducerede familie ( ˆQ x,y ) y Y er en (Y,K)- Markovkerne på (Z,H). Og ˆR x er blandingen af denne Markovkerne med hensyn til ˆP x. Specielt ser vi at ˆR x er et sandsynlighedsmål på (Z,H). Vælg C H. Da ( ˆQ x,y ) (x,y) Y X er en Markovkerne på (Z,H), er (x, y) ˆQ x,y (C) en E K-målelig, ikke-negativ afbildning. Og derfor er x ˆR x (C)= ˆQ x,y (C) d ˆP x (y) E-målelig, det vil sige at ( ˆR x ) x X er en (X,E)-Markovkerne på (Z,H). Tag endelig A E, C H. Ifølge den udvidede Tonellis sætning er P(X A, Z C)=P(X A, Y Y, Z C) = ˆQ x,y (C) d(x, Y)(P)(x, y) A Y = 1 A Y (x, y) ˆQ x,y (C) d ˆP x (y) dx(p)(x) = 1 A (x) ˆR x (C) dx(p)(x), hvoraf det følger at ( ˆR x ) x X er den betingede fordeling af Z givet X.

21 462 Kapitel 21. Betingede fordelinger Eksempel I urneeksperimentet fra eksempel 21.5 kunne man interessere sig for den betingede fordeling af X 3 givet X 1. Ved simpel indsættelse i (21.14) ser vi at P(X 3 = 1 X 1 = x)= P(X 3 = 1 X 1 = x, X 2 = y)p(x 2 = y X 1 = x) y = P(X 3 = 1 X 1 = x, X 2 = 0)P(X 2 = 0 X 1 = x) + P(X 3 = 1 X 1 = x, X 2 = 1)P(X 2 = 1 X 1 = x) = N ( 1 x 1 N ) 1 x + N 1 x 1 N 1 x N 2 N 1 N 2 N 1 = N 1 x N 1. Vi konstaterer at den betingede fordeling af X 3 givet X 1 er identisk med den betingede fordeling af X 2 givet X 1. Analogt med hvad vi konstaterede i eksempel 21.5, så spiller det ingen rolle at der er trukket en kugle mellem kugle 1 og kugle 3 - vi får kun information om kugle 3 s farve hvis vi får at vide hvilken farve kugle 2 havde Betingede middelværdier Vi vil nu beskæftige os med hvordan den betingede fordeling ( ˆP x ) x X af en reel variabel Y givet en vilkårlig variabel X, kan beskrives på en informativ måde. Hvert ˆP x er jo et sandsynlighedsmål på (R,B), og man kan derfor forsøge at beskrive det ved hjælp af momentkonstruktioner. Det leder til begreber som betinget middelværdi og betinget varians. Man kan naturligvis også diskutere betingede medianer og andre betingede fraktiler. Ja, hvis det falder for, kan man tage fat på betingede fordelingsfunktioner og betingede karakteristiske funktioner - men de mest brugbare resultater opnås typisk for de betingede momenter Lemma Lad X og Y være stokastiske variable fra (Ω,F, P) ind i (X,E) henholdsvis (R,B), og lad ( ˆP x ) x X være den betingede fordeling af Y givet X. Hvis E Y <, så har ˆP x første moment for X(P)-næsten alle x X. BEVIS: Betragt afbildningen f :X R Rgivet ved at f (x, y)=y. Idet f (x, y) d(x, Y)(P)(x, y)= f (X, Y) dp=e Y <,

22 21.3. Betingede middelværdier 463 følger det af den udvidede Fubinis sætning at y d ˆP x (y)= f (x, y) d ˆP x (y)< for X(P)-næsten alle x. Vi indfører skrivemåden E(Y X=x)= y d ˆP x (y), for den betingede middelværdi af Y givet X. Formelt er E(Y X=x) en funktion X R - lad os midlertidigt skrive φ(x)=e(y X=x) for at understøtte denne opfattelse. I mange sammenhænge vil vi imidlertid hellere betragte den betingede middelværdi som en stokastisk variabel, nemlig som den variabel der fås ved at sammensætteφ med X. Vi skriver E(Y X)=φ X. Betingede middelværdier, opfattet som stokastiske variable, er et helt centralt værktøj i den videregående sandsynlighedsregning. Hvis X og Y er uafhængige, er E(Y X) en konstant stokastisk variabel, så jo mere E(Y X) varierer, jo kraftigere afhængighed er der mellem X og Y. Hvis man skal være helt præcis, så erφikke defineret på helex, men kun på en X(P)-næsten sikker delmængde. Derfor er E(Y X) strengt taget kun defineret på en P-næsten sikker delmængde afω. Men hvis vi insisterer, kan den udvides til at være defineret over det hele - sæt den f.eks. til 0 på den resterende del afω. Sætning Lad X og Y være stokastiske variable fra (Ω,F, P) ind i (X,E) henholdsvis (R, B). Hvis E Y <, så er E(Y X) integrabel, og E ( E(Y X) ) = EY. (21.15) BEVIS: Dette er et specialtilfælde af den udvidede Fubinis sætning.

23 464 Kapitel 21. Betingede fordelinger X Y X = x Figur 21.1: punkter simuleret fra en todimensional fordeling. EY beskriver centrum for hele punktskyen projiceret ind på y-aksen (i dette tilfælde 0), mens E(Y X = x) beskriver centrum for den del af punktskyen der har førstekoordinat x (for det angivne x vel 1.5). Korollar Lad X og Y være stokastiske variable fra (Ω,F, P) ind i (X,E) og (Y,K), og lad ( ˆP x ) x X være den betingede fordeling af Y givet X. Ladφ :X Y R være en målelig afbildning, og sæt Z = φ(x, Y). Hvis E Z < er E(Z X=x)= φ(x, y) d ˆP x (y) for X(P)-næsten alle x X. (21.16) BEVIS: Ifølge substitutionssætninger kan den betingede fordeling af Z givet X = x findes som P x =φi x ( ˆP x ). Dermed er E(Z X=x)= z d P x (z)= φi x (y) d ˆP x (y)= φ(x, y) d ˆP x (y) som ønsket. Eksempel Hvis Y og Z er to reelle stokastiske variable med 1. moment, og X er en vilkårlig stokastisk variabel, så er E(Y+ Z X)=E(Y X)+ E(Z X) for X(P)-næsten alle x X.

24 21.3. Betingede middelværdier 465 Lad nemlig ( ˆP x ) x X være den betingede fordeling af (Y, Z) givet X. Da er E(Y+ Z X=x)= y+z d ˆP x (y, z) for X(P)-næsten alle x X, mens E(Y X=x)= y d ˆP x (y, z), E(Z X=x)= z d ˆP x (y, z) for X(P)-næsten alle x X. Eksempel Lad X være en stokastisk variabel med værdier i (X,E) og lad t :X R være en målelig afbildning. Den betingede fordeling ( ˆP x ) x X af Z givet X er da ganske degenereret: vi kan bruge ˆP x =ǫ t(x) for x X, Hvis E Z < kan vi udregne den betingede middelværdi: E(Z X=x)= z d ˆP x (z)= z dǫ t(x) (z)=t(x). Når vi sammensætter med den stokastiske variabel X får vi derfor at et resultat, der kortfattet kan skrives E ( t(x) X ) = t(x). (21.17) Resultatet er selvfølgelig en banalitet, men det er en regneregel, der er uhyre anvendelig. Eksempel I urneeksperimentet fra eksempel 21.16, kunne man interessere sig for den betingede middelværdi af S n+1 givet S n. Vi ser at E(S n+1 S n )=E(S n + X n+1 S n )=S n + E(X n+1 S n )=S n + N 1 S n N n = N ( 1 N n ) S n. N n Udnytte sætning 21.21, etablerer vi den rekursive formel E(S n+1 )=E ( E(S n+1 S n ) ) = N 1 N n + ( 1 1 N n ) ES n. Udnyttes et ES 0 = 0, bevises det heraf let ved induktion at ES n = nn 1 N. Vi fandt samme formel for middelværdien af en hypergeometrisk fordeling i eksempel 13.25, men det bevis vi lige har givet er en hel del nemmere.

25 466 Kapitel 21. Betingede fordelinger Eksempel Lad os betragte situationen fra eksempel 21.12, hvor vi så på en sum af formen N Z= Y n, (21.18) i=1 hvor Y 1,...,Y M er uafhængige reelle stokastiske variable, alle med fordelingν, og hvor N er en heltallig stokastisk variabel med værdier mellem 1 og M, uafhængig af Y erne. Studiet af summen førte naturligt til de stokastiske variable Z n = 1 (n N) Y n for n=1,..., M. Vi fandt i eksempel den betingede fordeling ˆP k af Z n givet N= k til at være ǫ 0 for k=1,...,n 1, ˆP k = ν for k=n,..., M, Hvis vi antager at Y erne har middelværdi, følger det nu at 0 for k=1,...,n 1, E(Z n N= k)= EY 1 for k=n,..., M, Sammensættes med den stokastiske variabel N, får vi et udtryk, der kortfattet kan skrives E(Z n N)=1 (n N) EY 1. (21.19) Vi kan udnytte det til at finde middelværdien af Z n, for EZ n = E ( E(Z n N) ) = EY 1 E ( 1 (n N) ) = EY1 P(n N). I dette tilfælde er vejen omkring betingede middelværdier nok ikke den korteste - vi kunne have fundet EZ n direkte ved at appellere til sætning Eksempel Vi kan fortsætte studiet af (21.18) fra eksempel ved at regne middelværdien af Z ud. En måde at finde denne middelværdi på er at udnytte, at vi i eksempel fandt den betingede fordeling af Z givet N. Givet at N = k, så vi at den betingede fordeling af Z er identisk med fordelingen af k n=1 Y n. Og derfor er E(Z N= k)=k EY 1.

26 21.4. Betingede varianser og kovarianser 467 Sammensættes med den stokastiske variabel N, ser vi at E(Z N)=NE Y 1. Og derfor har vi at EZ= E ( E(Z N) ) = EN EY 1, (21.20) en formel som er uhyre tilfredsstillende fra et æstetisk synspunkt. En anden måde at finde denne middelværdi på, er at udnytte at vi i eksempel fandt middelværdien af Z n erne. Vi ser at M M M M EZ=E Z n = EZ n = EY 1 P(n N)=EY 1 P(n N). (21.21) n=1 n=1 n=1 Denne sum af halesandsynligheder kan identificeres ved et klassisk trick: M P(n N)= n=1 M n=1 k=n M P(N= k)= M k=1 n=1 k P(N= k)= n=1 M k P(N= k)=en. Vi ser således at (21.21) vitterligt er identisk med (21.20). Vi kan i princippet komme igennem den sidste måde at udlede EZ på helt uden at betinge (det var ikke strengt nødvendigt at betinge i eksempel 21.26, det var måske ikke engang det nemmeste). Men en række andre egenskaber ved Z lader sig ikke på samme måde udlede uden betingning, se f.eks. eksempel k= Betingede varianser og kovarianser Hvis Y er reel med EY 2 <, kan vi definere den betingede varians af Y givet X, skrevet V(Y X), som V(Y X)=E(Y 2 X) ( E(Y X) )2. (21.22) Vi kan også indføre den betingede varians af Y givet X=x, som skrives V(Y X=x), ved ( 2 V(Y X=x)= y 2 d ˆP x (y) y d ˆP x (y)), hvilket giver mening for X(P)-næsten alle x, og vi kan konstatere at V(Y X) er sammensætningen af x V(Y X = x) med den stokastiske variabel X.

27 468 Kapitel 21. Betingede fordelinger Sætning Lad X og Y være stokastiske variable på (Ω,F, P) med værdier i (X,E) henholdsvis (R,B). Hvis EY 2 <, så gælder at VY= E ( V(Y X) ) + V ( E(Y X) ). (21.23) BEVIS: Af definitionen på betinget varians følger at E ( V(Y X) ) + V ( E(Y X) ) = E ( E(Y 2 X) E(Y X) 2) + E ( E(Y X) 2) ( E ( E(Y X) )) 2 = E ( E(Y 2 X) ) ( E ( E(Y X) )) 2 = VY. Eksempel Betragt figur VY er et mål for hvor meget punktskyen, projiceret ind på y-aksen, varierer omkring sit centrum. V(Y X=x) er et udtryk for hvor meget den del af punktskyen der har førstekoordinat x varierer omkring sit centrum. De to størrelser er ikke særlig tæt forbundne. I dette tilfælde er VY relativt stor, mens V(Y X=x) er ret lille for alle x. Eksempel Vi kan fortætte diskussionen fra eksempel af de betingede momenter i et eksperiment med trækning uden tilbagelægning. Vi har at V(S n+1 S n )=V(S n + X n+1 S n ). Når vi betinger med S n, kan vi opfatte S n som konstant, og S n -leddet giver derfor ikke noget bidrag til denne varians. Vi ved at X n+1 betinget med S n er Bernoullifordelt med successandsynlighed N 1 S n N n, og dermed er V(S n+1 S n )=V(X n+1 S n )= N 1 S ( n 1 N 1 S ) n. N n N n I princippet kan denne formel kombineres med sætning 21.28, og man kan opnå en rekursiv formel for V(S n ) - desværre bliver denne rekursive formel temmelig indviklet, hvad der afspejler at variansen af en hypergeometrisk fordeling er kompliceret.

28 21.4. Betingede varianser og kovarianser 469 Eksempel Vi kan fortsætte studiet af (21.18) fra eksempel ved at regne variansen af Z ud. Vi udnytter at vi i eksempel fandt at den betingede fordeling af Z givet at N= k er identisk med fordelingen af k n=1 Y n. Og antager vi at Y erne har 2. moment, ser vi derfor at V(Z N= k)=k VY 1. Hvis vi sammensætter med den stokastiske variabel N, ser vi at V(Z N)=N EY 1. Og derfor har vi at VZ=E ( V(Z N) ) + V ( E(Z N) ) = E ( N VY 1 ) + V ( N EY1 ) = EN VY 1 + (EY 1 ) 2 VN. Denne formel er sikkert mere overraskende end den tilsvarende formel for middelværdier. Men hvis man tænker over det, kan man godt forstå begge led. Vi forsøger at beskrive variabiliteten af en sum med et stokastisk antal stokastiske led. Første bidrag i variansformlen fortæller hvordan variabiliteten af de enkelte led indvirker på den samlede variabilitet. Og andet bidrag fortæller hvordan variabiliteten i antallet af led spiller ind. I modsætning til problemstillingen omkring middelværdien af Z, der kunne findes med eller uden betingningsargumenter efter eget valg, vil det være ganske vanskeligt at finde VZ uden en eller anden form for betingning. Hvis vi har to stokastiske variable, Y og Z, begge med 2. moment, kan vi indføre den betingede kovarians som Cov(Y, Z X)=E(Y Z X) E(Y X)E(Z X). (21.24) Hvis ( ˆQ x ) x X er den betingede fordeling af (Y, Z) givet X kan vi indføre ( )( ) Cov(Y, Z X=x)= y z d ˆQ x (y, z) y d ˆQ x (y, z) z d ˆQ x (y, z) og i så fald konstatere at Cov(Y, Z X) er sammensætningen af x Cov(Y, Z X=x) med den stokastiske variabel X. Sætning Lad X være en stokastiske variable på (Ω, F, P) med værdier i (X, E) og lad Y og Z være reelle variable, defineret på samme rum. Hvis både Y og Z har 2. moment gælder at Cov(Y, Z)= E ( Cov(Y, Z X) ) + Cov ( E(Y X), E(Z X) ). (21.25)

29 470 Kapitel 21. Betingede fordelinger BEVIS: Vi indsætter definitionerne og ser at E ( Cov(Y, Z X) ) + Cov ( E(Y X) E(Z X) ) = E ( E(Y Z X) E(Y X) E(Z X) ) + E ( E(Y X) E(Z X) ) E ( E(Y X) ) E ( E(Z X) ) = E(Y Z) EY EZ. Selv om sætning nærmest er en trivialitet at udlede, så har den konsekvenser, der kan være yderst forbavsende, når man støder på dem i praksis. Associationsmønsteret mellem to reelle variable Y og Z kan på dramatisk vis skifte karakter, alt efter om man betinger med X eller om man ikke gør det. I statistisk sammenhæng refereres der ofte til dette fænomen som Simpsons paradoks. Z Y Figur 21.2: Grafisk eksempel på Simpsons paradoks. Der er optegnet en række observationer fra en todimensional fordeling. Der er en tredie variabel X i problemstillingen - den bestemmer hvilken af de 7 delpunktskyer observationen hører til. Betinget med X er der en kraftig positiv korrelation mellem Y og Z, mens den ubetingede korrelation er negativ. Simpsons paradoks er skematisk illustreret i figur Her er X en diskret variabel, der deler observationerne på i nogle grupper. Inden for hver enkelt X-gruppe er der

30 21.5. Opgaver 471 en kraftigt positiv korrelation mellem Y og Z - på figuren er grupperne trukket helt fri af hinanden, så man kan se dette forhold med det blotte øje. Alligevel er der en kraftigt negativ korrelation mellem Y og Z, når man ser på punktskyen som et hele, altså når man beskriver de to variables simultane fordeling uden at inddrage det bagvedliggende X. Simpsons egen beskrivelse af paradokset handlede om uafhængighed. I statistisk sammenhæng er der en tilbøjelighed til at man betragter afhængighed mellem to variable som en kausal sammenhæng, og man forestiller sig at hvis man ved en intervention af en art skruer på den ene variabel, så følger den anden med. Som regel er der intet belæg for den kausale fortolkning, men den er alligevel svær at undgå. Med den kausale fortolkning vil uafhængighed mellem Y og Z betyde at de er udtryk for fænomener, der intet har med hinanden at gøre. Det er intuitivt begribeligt for de fleste mennesker, at selv om Y og Z er uafhængige når der betinges med X, så kan de to variable godt være marginalt afhængige. Det svarer til venstre side af (21.25) ikke behøver at være nul, bare fordi første led på højre side er nul. Populært siger man at der kan skabes kunstige sammenhænge mellem variable, når man ikke kontrollerer for for de rigtige baggrundsvariable. Hvis man vil ændre den ene af disse variable ved en intervention, skal man ikke skrue på den anden, men på baggrundsvariablene. Simpson diskuterede det modsatte forhold: selv om der er afhængighed af Y og Z når man betinger med X, og selv om denne afhængighed ikke skifter karakter med X-værdien, så kan Y og Z godt være marginalt uafhængige alligevel. Svarende til at venstre side af (21.25) godt kan være nul, selv om første led på højre side er forskelligt fra nul - det kræver blot at første led kompenseres af andet led. Det vil sige at sammenhænge kan forsvinde ud i den blå luft når man undlader at kontrollere for baggrundsvariable, og det er ekstremt svært at forstå for de fleste mennesker. Det er derfor velvalgt at man bruger ordet paradoks til at beskrive dette forhold Opgaver OPGAVE Lad X 1 og X 2 være uafhængige og geometrisk fordelte med parameter p. Find den betingede fordeling af X 1 givet X 1 + X 2. OPGAVE Lad X 1 og X 2 være uafhængige og binomialfordelte med samme parametre (n, p). Find den betingede fordeling af X 1 givet X 1 + X 2.

31 472 Kapitel 21. Betingede fordelinger OPGAVE Lad X og Y være uafhængige. Antag at de begge erγ-fordelte med skalaparameterβ, og med formparameterλ hhv.µ. SPGM 21.3(a). Find den simultane tæthed af (X, X + Y). SPGM 21.3(b). Find den betingede tæthed af X givet X + Y. SPGM 21.3(c). Find E(X X+ Y) og V(X X+ Y). SPGM 21.3(d). Kontroller at E(E(X X+ Y))=EX. SPGM 21.3(e). Kontroller på tilsvarende måde den betingede varians. OPGAVE Lad X 1 og X 2 være indbyrdes uafhængige stokastiske variable, der begge er ligefordelt på (0,1). SPGM 21.4(a). Find den betingede fordeling af X 1 givet X (1). SPGM 21.4(b). Find den betingede fordeling af X 1 givet X 1 + X 2. SPGM 21.4(c). Find den betingede fordeling af X 1 givet X 1 X 2. SPGM 21.4(d). Prøv at beskrive den betingede fordeling af (X 1, X 2 ) givet X (1). OPGAVE Lad R være en stokastisk variabel, hvis fordeling har tæthed SPGM 21.5(a). Bestem k. f (r)=kr 2 e r2 2, r 0. Lad T være en anden stokastisk variabel, og antag at den betingede fordeling af T givet R = r er ligefordelingen på ( r, r) for hvert r > 0. SPGM 21.5(b). Find den marginale fordeling af T. Sæt S= R 2 T 2. SPGM 21.5(c). Find den betingede fordeling af S givet R. SPGM 21.5(d). Find den marginale fordeling af S. SPGM 21.5(e). Find den betingede fordeling af R givet T. SPGM 21.5(f). Find den betingede fordeling af S givet T, og vis at S og T er uafhængige.

32 21.5. Opgaver 473 OPGAVE Lad X, Y og Z være stokastiske variable på (Ω,F, P) med værdier i henholdsvis (X,E), (Y,K) og (Z,H). Lad ( ˆP x ) x X være den betingede fordeling af Y givet X, og antag at Z og (X, Y) er uafhængige. Definer sandsynlighedsmålet ˆQ x,z på (Y,K) ved ˆQ x,z = ˆP x. Vis at ( ˆQ x,z ) (x,z) X Z er den betingede fordeling af Y givet (X, Z). OPGAVE Lad X, Y og Z være stokastiske variable på (Ω, F, P) med værdier i henholdsvis (X,E), (Y,K) og (Z,H). Lad ( ˆP z ) z Z være den betingede fordeling af (X, Y) givet Z. Antag at der findes et sandsynlighedsmålµ på (X,E) og en familie ( ˆQ z ) z Z af sandsynlighedsmål på (Y, K) sådan at ˆP z =µ ˆQ z for Z(P)-næsten alle z. Vis at X og (Y, Z) er uafhængige. Vis atµer fordelingen af X, og at ( ˆQ z ) z Z er den betingede fordeling af Y givet Z. OPGAVE Lad X og Y være reelle stokastiske variable, defineret på (Ω, F, P). Lad C være en fast Borelmålelig delmængde afr. Vi spiller følgende spil: Vi får oplyst værdien af X, og skal på den baggrund gætte på om Y C eller ej. Det er naturligt at forlange at hvis vi i to forskellige spil observerer samme X-værdi, så skal vi komme med samme gæt på om Y C eller ej - vi ved jo lige meget i de to situationer. Det betyder at gættereglen er det samme som at angive en mængde A: hvis vi observerer X A, så gætter vi på at Y C, hvis vi observerer X A, så gætter vi på at Y C. Forskellige valg af A giver så mere eller mindre vellykkede gætteregler (en gætteregel er naturligvis vellykket hvis den ofte gætter rigtigt). Lad ( ˆP x ) x X være den betingede fordeling af Y givet X. SPGM 21.8(a). Vis for en given gætteregel A at P(rigtigt gæt) = ˆP x (C) dx(p)(x)+ A A c ˆP x (C c ) dx(p)(x). SPGM 21.8(b). Vis at den optimale gætteregel svarer til mængden { A 0 = x X ˆP x (C) 1 }. 2