Statistik og Sandsynlighedsregning 2. Repetition og eksamen. Overheads til forelæsninger, mandag 7. uge

Transkript

1 Statistik og Sandsynlighedsregning 2 Repetition og eksamen Overheads til forelæsninger, mandag 7. uge 1

2 Normalfordelingen Erfaringsmæssigt er normalfordelingen velegnet til at beskrive variationen i mange variable, blandt andet tilfældige fejl på målinger. Fordelingens sandsynlighedsteoretiske egenskaber giver et solidt matematisk grundlag at bygge på. Normalfordelingen er symmetrisk, har et maximum og er fuldstændigt beskrevet ved to parametre, nemlig midddelværdien og variansen (eller standardafvigelsen). 2

3 Hvis X er normalfordelt med middelværdi µ og varians σ 2 har X tæthed { } 1 ϕ(x) = exp (x µ)2 2πσ 2 2σ 2 Vi skriver X N(µ, σ 2 ) Vi antager fremover at vi har observationer af x = (x 1,..., x n ) X = (X 1,..., X n ) hvor X i, i = 1,..., n er normalfordelte med samme varians σ 2, men muligvis med forskellig middelværdi µ i. 3

4 T-test benyttes når man vil teste hypoteser om middelværdien af normalfordelte variable. Vi ser på 3 forskellige slags t-test: One-sample t-test benyttes når man vil teste om uafhængige, identisk fordelte normale variable kommer fra en fordeling med en kendt middelværdi. Uparret t-test benyttes når man vil sammenligne middelværdierne i to grupper af uafhængige, identisk fordelte normale variable. Det antages at der er samme varians i de to grupper, og man ønsker at teste om middelværdierne er ens. Parret t-test benyttes når man vil teste om differencen mellem sammenhørende par af observationer af normalfordelte variable med samme varians kommer fra en normalfordeling med kendt middelværdi. Er det samme som one-sample t-test udført på differenserne. 4

5 One-sample t-test Statistisk model: (R n, (N (µ,σ 2 )) (µ,σ 2 ) R ]0, [) hvor N (µ,σ 2 ) har tæthed Hypotese: ϕ (µ,σ 2 )(x) = { 1 ( 2πσ 2 ) exp 1 n 2σ 2 } n (x s µ) 2 s=1 H : µ = µ 0 5

6 Estimatorer under den fulde model: og ˆµ = 1 n ˆσ 2 = 1 n dog benyttes s 2 = n x s = x s=1 n (x s x) 2 s=1 1 n 1 n (x s x) 2 ˆµ N(µ, σ2 n ) ; SSD = nˆσ2 = (n 1)s 2 σ 2 χ 2 n 1 ; ˆµ s 2 s=1 6

7 Estimatorer under hypotesen: og µ = µ 0 σ 2 = 1 n n (x s µ 0 ) 2 s=1 n σ 2 σ 2 χ 2 n 7

8 Kvotientteststørrelsen for test af µ = µ 0 er Q(x) = ( ˆσ 2 σ 2 ) n 2 og testsandsynligheden er givet ved ( ɛ(x) = 2P T n 1 x µ ) 0 s/ n hvor T n 1 er T fordelt med n 1 frihedsgrader. Bemærk: Vi beregner gennemsnittet, trækker den formodede middelværdi fra og dividerer med et estimat af standardafvigelsen. Vi har altså en teststørrelse, der under hypotesen har middelværdi 0 og varians 1. 8

9 Bemærk også at under hypotesen er X N(µ 0, σ2 n ), dvs at n( X µ0 ) N(0, σ 2 ). Desuden er (n 1)s 2 σ 2 χ 2 n 1 og X s 2. Definitionen af en t-fordeling med f frihedsgrader er netop T = U Z/f hvor U N(0, 1) og Z χ 2 f og U Z. Vi kan altså direkte se at vores teststørrelse T = n( x µ0 ) s = n( x µ0 )/σ ((n 1)s2 /σ 2 )/(n 1) er t-fordelt med n 1 frihedsgrader. 9

10 VIGTIGT: Testsandsynligheden (p-værdien) angiver sandsynligheden for at man under et lignende eksperiment observerer den samme eller en større afstand mellem gennemsnittet og den formodede middelværdi som den man har observeret i det konkrete eksperiment. Hvis denne sandsynlighed er stor kan vi godt tro på at den observerede forskel blot skyldes tilfældig variation. Hvis sandsynligheden er lille vil vi være tilbøjelige til ikke at tro på at det udelukkende skyldes tilfældigheder, men snarere at data ikke stammer fra en fordeling med den formodede middelværdi. Hvis testsandsynligheden er mindre end 0.05 siger vi at middelværdien er signifikant forskellig fra µ 0 på 5% niveau. 10

11 Uparret t-test: Sammenligning af middelværdi i to normalfordelinger Observation fra x = (x rs ) r=1,2,s=1,...nr X = (X rs ) r=1,2,s=1,...nr uafhængige normalfordelte variable X rs N(µ r, σ 2 ) med µ r R og σ > 0. Sæt n = n 1 + n 2. X har tæthed ϕ µ1,µ 2,σ 2(x) = 1 ( 2πσ 2 ) n exp { 1 2σ 2 } 2 n r (x rs µ r ) 2 r=1 s=1 11

12 Statistisk model og hypotese Statistisk model (R n, (N (µ1,µ 2,σ 2 )) (µ1,µ 2,σ 2 ) R 2 ]0, [) hvor N (µ1,µ 2,σ 2 ) har tæthed ϕ µ1,µ 2,σ 2(x) Hypotese: H : µ 1 = µ 2 = µ 12

13 Estimatorer og teststørrelse MLE under M : ˆµ r = x r ˆσ 2 = 1 n Dog benyttes : s 2 = 1 n 2 MLE under H : µ = x σ 2 = 1 n Dog benyttes : s 2 = 1 n 1 2 n r (x rs x r ) 2 r=1 s=1 2 n r (x rs x r ) 2 r=1 s=1 2 n r (x rs x) 2 r=1 s=1 2 n r (x rs x) 2 r=1 s=1 13

14 Testsandsynlighed og fordeling af estimatorer Fordeling af MLE under M: Fordeling af MLE under H: ˆµ 1 ˆµ 2 ˆσ 2 ˆµ r N(µ r, 1 n r σ 2 ) nˆσ 2 σ 2 χ 2 n 2 µ ˆσ 2 µ N(µ, 1 n σ2 ) n σ 2 σ 2 χ 2 n 1 14

15 Kvotientteststørrelse Testsandsynlighed ɛ(x) = 2P Q(x) = ( ˆσ 2 σ 2 ) n 2 T n 2 x 1 x 2 s 1 n n 2 hvor s 2 = 1 2 nr n 2 r=1 s=1 (x rs x r ) 2, og T n 2 er T fordelt med n 2 frihedsgrader. Bemærk: Vi beregner differencen på de to gennemsnit, trækker den formodede middelværdi fra (=0) og dividerer med et estimat af standardafvigelsen på differencen. Vi har altså en teststørrelse, der under hypotesen har middelværdi 0 og varians 1. Også her kan vi direkte se fordelingen af vores teststørrelse udfra fordelingerne af de enkelte elementer og definitionen af en t-fordeling., 15

16 Eksempel: eksamensopgave For at undersøge om methylkviksølv er lige farligt for mænd og kvinder udførtes et forsøg hvor raske personer fik indgivet CH oralt. I forsøget deltog seks kvinder og ni mænd. For hver person måltes halveringstiden i dage for den indgivne methylkviksølv. Det kan i det følgende antages at observationerne er uafhængige og normalfordelte. Ved besvarelsen kan nedenstående R-udskrifter og Figur 1 anvendes. Resultaterne er angivet i datasættet methyl 16

17 > methyl sex halvtid 1 kvinde 52 2 kvinde 69 3 kvinde 73 4 kvinde 88 5 kvinde 87 6 kvinde 56 7 mand 72 8 mand 88 9 mand mand mand mand mand mand mand 74 17

18 1. Er det rimeligt at antage at målingerne fra henholdsvis mænd og kvinder stammer fra fordelinger med samme varians? 2. Angiv et estimat og et 95% konfidensinterval for forskellen mellem middelværdierne for halveringstiden for kvinder og mænd. 3. Kan halveringstiden antages at være den samme for kvinder og mænd? Forklar p-værdien i Udskrift Antag at halveringstiden ikke afhænger af køn. Angiv estimater for middelværdi og varians i den fælles halveringsfordeling. 5. Kommenter residualplottet Figur 1. Er det rimeligt at antage at data er normalfordelt? 18

19 Udskrift 1 > var.test(halvtid ~ sex, data = methyl) F test to compare two variances data: halvtid by sex F = , num df = 5, denom df = 8, p-value = alternative hypothesis: true ratio of variances is not equal to 1 95 percent confidence interval: sample estimates: ratio of variances

20 Udskrift 2 > t.test(halvtid ~ sex, data = methyl, var.equal=true) Two Sample t-test data: halvtid by sex t = , df = 13, p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean in group kvinde mean in group mand

21 Udskrift 3 > t.test(halvtid, data = methyl) One Sample t-test data: halvtid t = , df = 14, p-value = 4.835e-13 alternative hypothesis: true mean is not equal to 0 95 percent confidence interval: sample estimates: mean of x

22 Residualer Index 22

23 Løsning til spørgsmål 1 1. Er det rimeligt at antage at målingerne fra henholdsvis mænd og kvinder stammer fra fordelinger med samme varians? Fra Udskrift 1: F = , num df = 5, denom df = 8, p-value = alternative hypothesis: true ratio of variances is not equal to 1 95 percent confidence interval: Se også IH s

24 Løsning til spørgsmål 2 2. Angiv et estimat og et 95% konfidensinterval for forskellen mellem middelværdierne for halveringstiden for kvinder og mænd. Fra Udskrift 2: 95 percent confidence interval: sample estimates: mean in group kvinde mean in group mand

25 Løsning til spørgsmål 3 3. Kan halveringstiden antages at være den samme for kvinder og mænd? Forklar p-værdien i Udskrift 2. Fra Udskrift 2: t = , df = 13, p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval:

26 Løsning til spørgsmål 4 4. Antag at halveringstiden ikke afhænger af køn. Angiv estimater for middelværdi og varians i den fælles halveringsfordeling. Fra Udskrift 3: t = , df = 14, p-value = 4.835e-13 alternative hypothesis: true mean is not equal to 0 95 percent confidence interval: sample estimates: mean of x

27 T-teststørrelsen er givet ved T = x µ 0 s/ n hvor s 2 er estimatet for variansen vi er interesseret i. Testet er for µ 0 = 0 og x er angivet til at være Frihedsgraderne er 14 og antallet af observationer er således n = 15. Vi får s 2 = ( x µ 0) 2 T 2 /n = /15 = Derfor estimerer vi fordelingen af halveringstiden til N( , ). 27

28 Løsning til spørgsmål 5 5. Kommenter residualplottet Figur 1. Er det rimeligt at antage at data er normalfordelt? Bemærk at punkterne ligger nogenlunde symmetrisk omkring 0 uden åbenlys stuktur og uden outliers. Residualplottet kan således godt underbygge en antagelse om normalfordelte data. 28

29 Parret t-test Dette test benyttes hvis man har sammenhørende par af observationer, for eksempel før og efter et indgreb på samme subjekt, og man ønsker at teste om indgrebet ændrer middelværdien. I praksis udføres testet ved at lave et one-sample t-test på differencerne. 29

30 Lineær regression Observationssæt t x t 1 x t n x n Realisationer af stokastiske variable X r, r = 1,..., n X r erne er indbyrdes uafhængige. X r N(ν + βt r, σ 2 ) 30

31 Lineær regression X r N(ν + βt r, σ 2 ) Ny parametrisering EX r = α + β(t r t) for r = 1,..., n Regressionslinien bliver y(t) = α + β(t t) og liniens skæring med y aksen bliver α β t. 31

32 Statistisk model Linearitetsmodel M l : EX r = α + β(t r t), (α, β) R 2, Parameterområde under modellen Θ 0 = R 2 ]0, [ x er observation fra den statistiske model (R n, (N α,β,σ 2) (α,β,σ 2 ) R 2 ]0, [) hvor N α,β,σ 2 ϕ α,β,σ 2(x) = har tæthed 1 ( 2πσ 2 ) n exp { 1 2σ 2 } n (x r α β(t r t)) 2 r=1 32

33 MLE for (α, β, σ 2 ) er entydigt givet ved Dog benyttes s 2 l = ˆα = x ˆβ = n r=1 (x r x)(t r t) SSD t ˆσ l 2 = 1 n (x r x n r t)) 2 r=1 1 n 2 n (x r x ˆβ(t r t)) 2 r=1 33

34 ˆα, ˆβ og ˆσ 2 l (eller s 2 l ) er uafhængige og ˆα N(α, 1 n σ2 ) ˆβ N(β, σ 2 SSD t ) SSD l = (n 2)s 2 l = nˆσ 2 l σ 2 χ 2 n 2 34

35 Estimatet for regressionslinien y(t) bliver ŷ(t) = x + ˆβ(t t). Den stokastiske variabel Y (t) = X + ˆβ(t r t) har fordeling Y (t) N (α + β(t t), σ 2 ( 1n + (t t) 2 ) ) SSD t Variansen på den estimerede regressionslinie vokser med afstanden til t, således at regressionslinien er bedst bestemt nær t. I praktiske anvendelser indsættes ( x, ˆβ, s 2 l ) i stedet for parameterværdierne, når man skal angive estimatorernes og den estimerede regressionslinies fordelinger. 35

36 Test for β under linearitetsmodellen Hypotese: H β : EX r = α + β 0 (t r t), r = 1,..., n, α R Parameterområde under hypotesen: Θ β = R ]0, [ Statistisk model (R n, (N α,σ 2) (α,σ 2 ) R ]0, [) hvor N α,σ 2 ϕ α,σ 2(x) = har tæthed 1 ( 2πσ 2 ) n exp { 1 2σ 2 } n (x r α β 0 (t r t)) 2 r=1 36

37 MLE under H β ˆα = x ˆσ 2 β = 1 n Dog benyttes s 2 β = n (x r x β 0 (t r t)) 2 r=1 1 n 1 n (x r x β 0 (t r t)) 2 r=1 ˆα og ˆσ 2 β er uafhængige ˆα N(α, 1 n σ2 ) SSD β = (n 1)s 2 β = nˆσ2 β σ2 χ 2 n 1 ( Testsandsynlighed: ɛ β (x) = 2P T β SSDt ˆβ ) β 0 s l hvor T β = SSDt ( ˆβ(X) β 0 ) s l (X) er T fordelt med n 2 frihedsgrader. 37

38 Eksempel på eksamen Fedtsyreprocenten er den fundamentale kvalitetsegenskab ved sæbe. Den bestemmes sædvanligvis ved langsomme kemiske laboratoriemålinger. Til lettelse af produktionskontrollen i sæbefabrikker har man foreslået at bestemme fedtsyreprocenten ved at måle sæbens elektriske ledningsevne. Ledningsevnen er let at måle, og målingerne kan udføres på produktionsstedet. I nedenstående tabel findes en række uafhængige bestemmelser af ledningsevnen målt i milli-siemens (ms) for en bestemt sæbetype og forskellige fedtsyreprocenter. 38

39 Fedtsyre- Ledningsevne procent i ms Tabel 1: Sammenhæng mellem ledningsevne og fedtsyreprocent i sæbe 39

40 1. I R-udskriften nedenfor er data analyseret ved hjælp af en lineær regressionsmodel. Opstil den statistiske model. Redegør for forudsætningerne for analysen, og diskuter om disse kan antages at være opfyldte i det foreliggende tilfælde. 2. Angiv estimater for parametrene under regressionsmodellen og disses fordeling. 3. Er data forenelige med en hypotese om at ledningsevnen ikke afhænger af fedtsyreprocenten? 4. Er data forenelige med en hypotese om at regressionslinien har en hældning på 0.6? Ved besvarelsen kan nedenstående uddrag af et R-udskrift og et QQ-plot af de standardiserede residualer anvendes. Data antages at ligge i datasættet ledning med de to variable fedtpct og ledning. 40

41 Udskrift 1: Call: lm(formula = ledning ~ I(fedtpct - mean(fedtpct)), data = ledning) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-16 I(fedtpct - mean(fedtpct)) e Residual standard error: on 14 degrees of freedom 41

42 Normal Q Q Plot Sample Quantiles Theoretical Quantiles 42

43 Besvarelse 1. Opstil den statistiske model. Data består af 16 observationer af ledningsevnen, hvor fedtsyreprocenten også er angivet. Vi angiver den rte måling af ledningsevnen som x r med tilhørende fedtsyreprocent t r. Det antages at ledningsevnen X r er normalfordelt med middelværdi α + β(t r t), hvor t er gennemsnittet af de angivne fedtsyreprocenter, og varians σ 2. Den statistiske model bliver således (R 16, (N α,β,σ 2) (α,β,σ 2 ) R 2 ]0, [) hvor N α,β,σ 2 har tæthed { 1 ϕ α,β,σ 2(x) = ( exp 1 2πσ 2 ) 16 2σ 2 16 r=1 (x r α β(t r t)) 2 } 43

44 1. Redegør for forudsætningerne for analysen, og diskuter om disse kan antages at være opfyldte i det foreliggende tilfælde. Det antages at data er uafhængige. Det angives at det er uafhængige bestemmelser, så denne antagelse vil vi godtage. Derudover antages data at være normalfordelt med den givne middelværdi. Dette kan efterprøves ved at se på fordelingen af residualerne. Fra udskriftet kan vi bruge informationen om residualerne. Her bør henholdsvis min og max og 1. og 3. kvartil være nogenlunde lige store i absolut værdi. Det lader til at være fint opfyldt. Derudover bør medianen være tæt på 0, der er gennemsnittet af residualerne. Dette lader også til at være opfyldt, og vi godtager således normalfordelingsantagelsen. QQ-plottet af de standardiserede residualer indikerer også fin overensstemmelse med normalfordelingsantagelsen, da punkterne ligger tæt på en ret linie. 44

45 2. Angiv estimater for parametrene under regressionsmodellen og disses fordeling. Bemærk først at regressionen er foretaget på de centrerede værdier af fedtprocenten, dvs gennemsnittet af t r er fratrukket alle fedtprocentangivelser inden analysen. Vi skal angive estimater for de 3 parametre α, β og σ og deres fordelinger. Vi har ˆα = 1 n x r og ˆα N(α, σ2 n n ) r=1 n r=1 ˆβ = (x r x)(t r t) σ n r=1 (t og ˆβ N(β, 2 r t) 2 n r=1 (t r t) ) 2 s 2 = 1 n 2 n (x r x ˆβ(t r t)) 2 og (n 2)s 2 σ 2 χ 2 n 2 r=1 hvor s 2 er estimatet for σ 2. Vi benytter estimaterne for α, β og σ når fordelingerne skal vurderes. 45

46 I udskriftet under Coefficients er α betegnet som interceptet og estimeret til Dette estimat er gennemsnittet af ledningsevnemålingerne. Standardfejlen for estimatet er angivet til Denne kunne også findes i sidste linie hvor s er angivet til Antallet af målinger er n = 16. Bemærk at s/ n = / 16 = Vi får således følgende bud på fordelingen af ˆα: ˆα N( , ) 46

47 I udskriftet under Coefficients findes estimatet for β under I(fedtpct - mean(fedtpct)) og er estimeret til med en standard fejl på Vi har følgende bud på fordelingen af ˆβ: ˆβ N( , ) 47

48 I udskriftets sidste linie angives et estimat for σ til s = og frihedsgraderne er n = 2 = 14. Vi har følgende bud på fordelingen af s 2 : s χ 2 14 = χ

49 3. Er data forenelige med en hypotese om at ledningsevnen ikke afhænger af fedtsyreprocenten? Vi skal teste hypotesen H : β = 0 Dette kan gøres med t-teststørrelsen T β = SSDt ˆβ 0 s der under hypotesen er T-fordelt med n 2 = 14 frihedsgrader. Den er allerede regnet ud i udskriftet og kan findes på linien for β: I(fedtpct - mean(fedtpct)) e-06 Den er således angivet til T β = Testsandsynligheden er opgivet til at være 1.63e-06. Der er altså en meget lille sandsynlighed for at observere en værdi for ˆβ på eller længere væk fra 0 i en stikprøve af denne størrelse, hvis den sande værdi af β er 0. Vi afviser således hypotesen om at ledningsevnen ikke afhænger af fedtsyreprocenten. 49

50 4. Er data forenelige med en hypotese om at regressionslinien har en hældning på 0.6? Vi skal teste hypotesen H : β = 0.6 Dette kan gøres med t-teststørrelsen SSDt T β = ˆβ 0.6 s der under hypotesen er T-fordelt med n 2 = 14 frihedsgrader. I udskriftets sidste linie er s angivet til , og vi har ˆβ = Vi mangler værdien af SSD t. Den kan beregnes således: Estimatet for standardfejlen på ˆβ er angivet til , og er estimeret ved s/ SSD t. Vi får at SSDt = / =

51 Vi kan nu beregne t-teststørrelsen: T β = SSDt ˆβ 0.6 s = = Testsandsynligheden er givet ved 2P (T 1.883) og kan slås op i R med ordren > 2*(1-pt( , df=14)) [1] Da testsandsynligheden er større end 0.05 kan vi acceptere hypotesen om en hældning på 0.6 på 5% niveau. 51

52 Hvis man ikke har mulighed for at slå testsandsynligheden op i R kan en tilnærmelse findes i MS s Her angives at P (T ) = 0.025, dvs at P ( T ) = Da > kan vi konkludere at vi accepterer hypotesen på 5% niveau. En endnu grovere tilnærmelse kan findes udfra betragtningen: P ( T n 1.96) > P ( Y 1.96) = 0.05 for alle n = 1, 2,..., hvor Y er standard normalfordelt. Konklusion: Data er forenelige med en hypotese om at regressionslinien har en hældning på