da er X 1 + X 2 N(µ 1 + µ 2,σ1 2 + σ2) Hvis X 1,...,X n er uafhængige og X r N(µ,σ 2 ), da er X = 1 n (X X n ) N(µ, σ2

Transkript

1 Statistik og Sandsynlighedsregning IH kapitel Overheads til forelæsninger, onsdag 5. uge Resultater om normalfordeling X N(µ,σ ). N har tæthed ϕ µ,σ (x) = exp (x µ) πσ σ EX = µ, Var(X) = σ X µ N(0,) σ Hvis X og X er uafhængige, X r N(µ r,σr), da er X + X N(µ + µ,σ + σ) Hvis X,...,X n er uafhængige og X r N(µ,σ ), da er X = n (X X n ) N(µ, σ n ) Normalfordelingen Observation af x = (x,...,x n ) R n X = (X,...,X n ) X r N(µ,σ ) er uafhængige, identisk normalfordelte variable med µ R og σ > 0. X har tæthed ϕ µ,σ (x) = = n exp πσ σ (x s µ) ( πσ ) n exp σ (x s µ) Motiverende eksempel. Usikkerhed på middelværdi Patient Pimax (cm H O) Gennemsnit 4.7 Standardafvigelse 6.3 Model: X i : Pimax for patient nr. i X,...,X 9 uafh. N(µ,σ ), ˆµ = 4.7, ˆσ = 6.3 = SD 3 4

2 I R: > Pimax <- c(54.8,6,63.3,44.,40.3,36.3,9.3,4.6,6.6) > xbar <- mean(pimax) > xbar [] > s <- sd(pimax) > s [] Antag: Et langt større eksperiment på en anden patientgruppe har fundet ˆµ = 35.0, ˆσ = 0.0 Spørgsmål: Er µ = 35.0 muligt i vores eksempel?. Hvis σ er kendt (sjældent): U-test. Hvis σ er ukendt (oftest): t-test 5 6. U-test: Lad Eksempel: X = n i= X i = 9 (X + + X 9 ) N(µ, σ /n ) SEM SD middel i stikprøve postuleret middel spredning for middel i stikprøve / =.88 9 Hvis Y N(0,), hvad er P( Y.88)? = X µ 0 σ/ n N(0,) Normalfordeling 7 8

3 I R: P( Y.88) = Φ(.88) = ( Φ(.88)) > mu0 <- 35 > sigma <- 0 > n <- 9 > y <- (xbar-mu0)/(sigma/sqrt(n)) > y [].88 > *pnorm(-abs(y)) [] > *(-pnorm(abs(y))) [] Statistisk model og maximum likelihood estimatoren Vi antager µ ukendt og σ = σ 0 kendt. Den statistiske model bliver (R n,(n µ ) µ R ) hvor N µ har tæthed ϕ µ (x) = ( exp πσ0 )n σ0 Likelihoodfunktionen for µ bliver derfor (x s µ) L : R n R [0, ) L(x,µ) = ϕ µ (x) Fortolkning? 9 0 Estimation af µ i normalfordeling med kendt varians Log-likelihooden bliver log ϕ µ (x) = n log Score-funktionen bliver d log ϕ µ (x) dµ ( ) πσ0 σ0 = σ 0 og likelihood-ligningen giver estimatoren σ0 (x s µ) (x s µ) (x s ˆµ) = 0 ˆµ = n x s = x Vi får således at maximum likelihood estimatoren er gennemsnittet af målingerne. Vi så tidligere at hvis X,...,X n er uafhængige og X r N(µ,σ ), da er X = n (X X n ) N(µ, σ n ) Vi får derfor direkte fordelingen af maximum likelihood estimatoren ˆµ N(µ, σ 0 n )

4 Estimation af µ i normalfordeling med kendt varians Vi kunne også direkte have maximeret likelihooden. Der gælder (x s µ) = ((x s x) + ( x µ)) = = = (x s x) + ( x µ) + (x s x)( x µ) (x s x) + n( x µ) + ( x µ) (x s x) + n( x µ) (x s x) (x s x) Hvorfor er det vigtigt at kende estimatorens fordeling? Hvor godt er vores estimat? ˆµ N(µ, σ 0 n ) Hvor tæt kan vi forvente at det er på den sande værdi? 3 4 Normalfordelingen Konfidensinterval µ 3σ µ σ µ σ µ µ + σ µ + σ µ + 3σ To parametre: µ : middelværdi σ : varians (σ er spredningen) Et interval omkring vores estimat, der angiver værdier hvor den sande værdi med stor sandsynlighed er indeholdt. ( ) Hvis ˆµ N(µ, σ 0 ˆµ µ n ), da vil P σ 0 / n.96 = 0.95 Derfor vil P Fortolkning? ( [ µ ˆµ.96 σ 0 ; ˆµ +.96 σ ]) 0 n n =

5 Normalfordelingen -.96 Normalfordelingen %.5%.5% µ.96σ µ µ +.96σ % 0.5% 0.5% µ.58σ µ µ +.58σ Vi bruger tallet.96 til at konstruere 95% konfidensintervaller. Vi bruger tallet.58 til at konstruere 99% konfidensintervaller. 7 8 Test af hypotesen H : µ = µ 0. Kvotientteststørrelse: Q(x) = L(x, ˆµ 0) L(x, ˆµ) exp n ( πσ0 = )n σ0 (x s µ 0 ) exp n ( πσ0 )n σ0 (x s x) = exp σ0 ((x s µ 0 ) (x s x) ) = exp σ0 n( x µ 0 ) Da hypotesen er simpel, har vi at ǫ(x) = P µ0 (Q(X) Q(x)) = P µ0 ( log Q(X) log Q(x)) ( = P µ0 σ0 n( X µ 0 ) ) σ0 n( x µ 0 ) ( X µ0 = P µ0 σ 0 / n x µ ) 0 σ 0 / n ( X µ0 = P µ0 σ 0 / n x µ ) 0 σ 0 / n ( ( )) x µ0 = Φ σ 0 / n da X µ 0 σ 0 / n er standard normalfordelt. 9 0

6 Flere resultater om normalfordelingen Definition af χ -fordelingen: Hvis X,...,X n er uafhængige og X r N(0,), da er S = X X n, summen af de kvadrerede variable, χ fordelt med n frihedsgrader (S χ n). Hvis X,...,X n er uafhængige og X r N(0,σ ), da er S = X X n, summen af de kvadrerede variable, χ fordelt med n frihedsgrader og skalaparameter σ (S σ χ n). Hvis S χ n, da er ES = n Hvis S σ χ n, da er ES = nσ Hvis S og S er uafhængige og S r σ χ n r,r =,, da er S + S σ χ n +n Hvis X,...,X n er uafhængige, X r N(µ,σ ) og SSD = n r= (X r X), summen af de kvadrerede afvigelser (sum of squared deviations), da er SSD σ χ n og SSD X. Flere resultater om normalfordeling Definition af T-fordelinger: Motiverende eksempel. Normalfordeling med ukendt varians Hvis X N(0,), S χ n og X S, da er nx S T-fordelt med n frihedsgrader. t-test: Istedet for X µ 0 σ/ n benyttes X µ 0 s/ n Hvis X N(µ,σ ), S σ χ n og X S, da er n(x µ) S T-fordelt med n frihedsgrader. Hvis X,...,X n er uafhængige, X r N(µ,σ ), SSD = n r= (X r X) og s = n SSD, da er n( X µ) s T n. n hvor s i= = (X i X) (n ) der følger en t-fordeling med n frihedsgrader. 3 4

7 % konfidensinterval [ x t n (0.975) s, x + t n (0.975) s ] n n Eksempel: Pimax-studiet [ ; ] = [8.79 ; 53.75] 9 9 indeholder 35.0 dvs. µ = 35.0 kan ikke afvises på 5%-niveau Normalfordeling og t fordeling med, 5 og 5 frihedsgrader 5 6 I R: > qnorm(0.975) [] > > alpha < > qnorm(-alpha/) [] > > n <- 9 > qt(0.975, df = n-) [] Vigtigt: SD=Std(X i ) = σ SE (eller SEM) = Std(X) = n σ = n SD standard deviation eller standardafvigelse eller spredning eller varians standard error (of the mean) eller standardfejl 7 8

8 Statistisk model og maximum likelihood estimatoren Observation af x = (x,...,x n ) R n X = (X,...,X n ) X r N(µ,σ ) er uafhængige, identisk normalfordelte med µ R og σ > 0. X har tæthed n ϕ µ,σ (x) = exp πσ σ (x s µ) = ( πσ ) n exp σ (x s µ) Statistisk model og maximum likelihood estimatoren Statistisk model hvor N (µ,σ ) har tæthed ϕ (µ,σ )(x) = Likelihoodfunktion (R n,(n (µ,σ )) (µ,σ ) R ]0, [), ( πσ ) n exp σ (x s µ) L : R n R ]0, [ [0, [ L(x,µ,σ) = ( πσ ) exp n σ (x s µ) 9 30 Estimation af µ og σ i normalfordeling med ukendt varians Log-likelihood: ( ) l = log L(x,µ,σ) = n log πσ σ Score-funktioner: dl dµ = σ dl dσ (x s µ) = n σ + n σ 3 (x s µ) (x s µ) Likelihood-ligningerne giver estimatoren ˆσ ṋ σ + ˆσ 3 (x s ˆµ) = 0 ˆµ = n n (x s ˆµ) = 0 ˆσ = n = n x s = x (x s ˆµ) (x s x) ˆµ N(µ, σ n ) ; nˆσ σ χ n ; ˆµ ˆσ 3 3

9 Test af hypotesen H : µ = µ 0. Likelihoodfunktion under H: Log-likelihood: L : R n ]0, [ [0, [ L(x,σ) = ( πσ ) exp n σ (x s µ 0 ). ( ) l = log L(x,σ) = n log πσ σ Score-funktion: dl dσ = n σ + n σ 3 (x s µ 0 ) (x s µ 0 ) Likelihood-ligningen giver estimatoren ñ σ + σ 3 og selvfølgelig n (x s µ 0 ) = 0 σ = n µ = µ 0 Fordeling af estimatoren n σ σ χ n (x s µ 0 ) Estimatorer og teststørrelse Kvotientteststørrelse MLE under M : ˆµ = x MLE under H : µ = µ 0 ˆσ = n n (x s x). σ = n n (x s µ 0 ) ( ˆσ Q(x) = σ ) n Testsandsynlighed og fordeling af estimatorer Fordeling af MLE under M: Fordeling af MLE under H: Testsandsynlighed ǫ(x) = P ˆµ ˆσ ˆµ N(µ, n σ ) nˆσ σ χ n. nˆσ σ χ n ( T n x µ ) 0 s/, n hvor T n er T fordelt med n frihedsgrader, og s = n n (x s x)

10 > data <- rnorm(00,mean=,sd=0.5) > t.test(data) One Sample t-test data: data t = 9.480, df = 99, p-value <.e-6 alternative hypothesis: true mean is not equal to 0 95 percent confidence interval: sample estimates: mean of x > mu0 <- > t.test(data-mu0) One Sample t-test data: data - mu0 t = , df = 99, p-value = alternative hypothesis: true mean is not equal to 0 95 percent confidence interval: sample estimates: mean of x Parvist T-test x er observation af uafhængige, hvor Hypotese H : µ = 0. Definer Y r = X r X r. X = (X rs ) r=,...,n,,, X r N(α r,σ ) X r N(µ + α r,σ ). Y,...,Y n uafhængige, Y r N(α r,σ ). Test af µ = 0 ved at bruge Sætning.3. på y,...y n, hvor y r = x r x r. Sammenligning af respons for to uafhængige grupper Placebo Aktiv y y Målinger y y.. y,n y,n Gennemsnit y y 39 40

11 Normalfordelte målinger Sammenligning af middelværdi Y j N(µ,σ ) Y k N(µ,σ ) Antagelse: samme varians i de to grupper. [ ] X µ 0 (Y Y ) 0 idé: s laves til n SE(Y Y ) Eksempel: Måler to blodglukose-måleapparater forskelligt? Der foretages n = 50 målinger med apparat A og n = 50 målinger med apparat B, alle målinger foretages på samme blodprøve. Resultat: Blodglukosekoncentration Gennemsnit Spredning Apparat A 5,70 0,6 Apparat B 5,0 0,5 4 4 Først skal vi undersøge om spredningerne kan antages lige store på de to måleapparater. F-test: Hvis varianserne i de to grupper er ens vil Her SD SD F(n,n ) 0,6 0,5 =,44 > -pf(.44, df = 49, df = 49) [] Vi antager varianshomogenitet Fælles variansskøn Her s = s = (n )s + (n )s n + n s = SD apparat A s = SD apparat B (50 )(0,6) + (50 )(0,5) = 0, SE for differensen Y Y SE(Y Y ) = s + = 0,553 n n = 0,

12 t-test: Frihedsgrader = = 98. > *(-pt(5.499, df=98)) [] e-07 t = Y Y SE(Y Y ) = 5,7 5, 0,05 = 5,499 Signifikant forskel på middelglukosekoncentrationen målt på samme blodprøve med de to apparater. 95% konfidensinterval for forskellen i middelværdi Her (Y Y ) ± t n +n (0.975) SE(Y Y ) (5,7 5,) ± t (0.975) 0,05 = [0,383 ; 0,87] indeholder ikke 0. Signifikant forskel på middelglukosekoncentrationen målt på samme blodprøve med de to apparater (Vi kan altså afvise H 0 på 5%-niveau) Parvist T-test igen x er observation af uafhængige par hvor Hypotese H : µ = 0. Definer Y r = X r X r. X = (X rs ) r=,...,n,,, (X r,x r ) N((α r,µ + α r ),Σ). Y,...,Y n uafhængige, Y r N(µ,σ + σ ρσ σ ). Test af µ = 0 ved at bruge Sætning 3.3. på y,...y n, hvor y r = x r x r. Sammenligning af middelværdi i to normalfordelinger Observation fra x = (x rs ) r=,,,...nr X = (X rs ) r=,,,...nr, uafhængige normalfordelte variable X rs N(µ r,σ ) med µ r R og σ > 0. Sæt n = n + n. X har tæthed ϕ µ,µ,σ (x) = = n r r= exp πσ ( πσ ) n exp σ σ (x rs µ r ) n r (x rs µ r ). r= 47 48

13 Statistisk model og hypotese Statistisk model hvor N (µ,µ,σ ) har tæthed (R n,(n (µ,µ,σ )) (µ,σ ) R ]0, )) ϕ µ,µ,σ (x) = ( πσ ) n exp σ H : µ = µ = µ. n r (x rs µ r ). r= Likelihoodfunktioner Likelihoodfunktion under M: L : R n R ]0, [ [0, [ L(x,µ,µ,σ) = ( πσ ) exp n r n σ (x rs µ r ) Likelihoodfunktion under H: r= L : R n R ]0, [ [0, [ L(x,µ,σ) = ( πσ ) exp n r n σ (x rs µ) r= Estimatorer og teststørrelse Kvotientteststørrelse H : µ = µ = µ. MLE under M : ˆµ r = x r ˆσ = n MLE under H : µ = x σ = n ( ˆσ Q(x) = σ n r (x rs x r ) r= n r (x rs x) r= ) n Testsandsynlighed og fordeling af estimatorer Fordeling af MLE under M: Fordeling af MLE under H: ˆµ ˆµ ˆσ ˆµ r N(µ r, n r σ ) nˆσ σ χ n. µ ˆσ µ N(µ, n σ ) n σ σ χ n. 5 5

14 > data <- rnorm(7,mean=,sd=) > data <- rnorm(3,mean=.5,sd=) > t.test(data,data) Testsandsynlighed ǫ(x) = P T n x x s n + n hvor s = nr n r= (x rs x r ), og T n er T fordelt med n frihedsgrader., Welch Two Sample t-test data: data and data t = , df = , p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y > data <- rnorm(7,mean=,sd=) > data <- rnorm(3,mean=.5,sd=) > t.test(data,data) Welch Two Sample t-test data: data and data t = -.63, df = 33.97, p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y > data <- rnorm(40,mean=,sd=) > data <- rnorm(40,mean=.,sd=) > t.test(data,data,paired=true) Paired t-test data: data and data t =.66, df = 39, p-value = 0.4 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of the differences

15 Eksempel.5.3 Dobbeltbestemmelser af tuberkulinreaktioner Differens mellem Differens mellem aflæsninger (mm) antal aflæsninger (mm) antal > dif <- c(-9,-6,rep(-5,3),rep(-4,),rep(-3,9),rep(-,49), + rep(-,94),rep(0,6),rep(,4),rep(,5),rep(3,5), + rep(4,),5,8) > length(dif) [] 334 > mean(dif) [] > sd(dif) [] > var(dif) [] Tuberkulinreaktioner ved vaccine, centre > t.test(dif) One Sample t-test data: dif t = -7.75, df = 333, p-value =.5e-3 alternative hypothesis: true mean is not equal to 0 95 percent confidence interval: sample estimates: mean of x Størrelse Kbh Oslo Størrelse Kbh Oslo n x s

16 > size <- 8:6 > kbh <- c(0,,5,3,5,4,7,5,,,,5,5,5,6,3,,0,) > oslo <- c(,0,0,5,9,0,5,3,0,6,,8,,4,3,5,5,0,0) > > TBkbh <- rep(size,kbh) > TBoslo <- rep(size,oslo) > > c(length(tbkbh), mean(tbkbh), var(tbkbh)) [] > c(length(tboslo), mean(tboslo), var(tboslo)) [] > # Normalfordelingsantagelsen > hist(tbkbh) > hist(tboslo) > qqnorm(tbkbh) > qqnorm(tboslo) 6 6 Histogram of TBkbh Histogram of TBoslo Frequency Frequency TBkbh TBoslo 63 64

17 Normal Q Q Plot Normal Q Q Plot Sample Quantiles Sample Quantiles Theoretical Quantiles 0 Theoretical Quantiles > # Test om ens middelværdier > t.test(tbkbh,tboslo) > # Antagelse om varianshomogeneitet > v <- var(tboslo)/var(tbkbh) > v [] > -pf(v, df = 5, df = 9) [] Welch Two Sample t-test data: TBkbh and TBoslo t = , df = , p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y

18 > t.test(tbkbh,tboslo,var.equal=true) Two Sample t-test data: TBkbh and TBoslo t = 0.674, df = 44, p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y