Introduktion til Statistik

Transkript

1 Itroduktio til Statistik 4. udgave Susae Ditlevse og Helle Sørese

2 Susae Ditlevse, Helle Sørese, Istitut for Matematiske Fag Købehavs Uiversitet Uiversitetsparke Købehav Ø 4. udgave, oktober 2015 Copyright Susae Ditlevse og Helle Sørese ISBN

3 Forord Dette otesæt er udarbejdet med heblik på statistikdele af kurset Sadsylighedsregig og Statistik (SS) på Købehavs Uiversitet. Der hevises mage steder til MS, dvs. Michael Søreses bog E Itroduktio til Sadsylighedsregig (Sørese, 2011) der bruges på sadsylighedsregigsdele af kurset. Sidehevisiger mm. er til 12. udgave. Notesættet er ispireret af Ige Heigses oter til tidligere kurser (Heigse, 2006a,b). Ememæssigt afviger de fra Iges oter ved at æste alt vedrørede modeller på diskrete udfaldsrum er skåret væk. Vi har også ladet os ispirere af bøgere Basal Biostatistik (del I og II) som tidligere blev beyttet på Det Biovideskabelige Fakultet på Købehavs Uiversitet (Skovgaard et al., 1999; Skovgaard, 2004) og af boge Itroductio to Statistical Data Aalysis for the Life Scieces (Ekstrøm ad Sørese, 2010). Notesættet omhadler ku e lille klasse af modeller, emlig e simpel biomialfordeligsmodel, ormalfordeligsmodeller for e ekelt eller to stikprøver samt lieær regressio. Givet de mægde sadsylighedsregig vi har til rådighed fra sadsylighedsregigsdele, er de ødvedige matematik ikke svær, me det betyder ikke ødvedigvis at stoffet er let. Vores erfarig er at statistikbegrebere er svære at få id uder hude, og vi gør derfor et stort ummer ud af forsøge at forklare meige med og betydige af de idførte begreber. Alle kapitler påær kapitel 2 ideholder et afsit hvor vi viser hvorda R ka bruges til at udføre aalysere. For at få udbytte af disse afsit er det ødvedigt med et basalt kedskab til R, specielt hvorda ma idlæser data. Der fides e kort itroduktio til R på Absaloside for kurset Sadsylighedsregig og Statistik. Filer med data som bruges i eksempler eller opgaver fides samme sted. Opgaver der kræver brug af R er mærket med symbolet. I forhold til første udgave af boge har vi i ade udgave tilføjet kapitel 6, afsit

4 4 om R, opgaver, og desude foretaget midre rettelser. I tredje udgave er ekelte beviser delvis omskrevet, og der er foretaget midre rettelser. I fjerde udgave er der hovedsageligt lavet ædriger i kapitel 6, hvor otatio og ogle af bevisere er ædret, delvis efter oplæg fra vores kollega Erst Hase. Derudover er der ædret lidt på otatioe vedr. SSD-størrelser, layoutet er ædret e smule, og der er foretaget adre midre ædriger. Købehav, oktober 2015 Susae Ditlevse, Helle Sørese

5 Idhold Forord 3 1 Biomialfordelige Statistisk model Maksimum likelihood estimatio Modeller med edeligt udfaldsrum Sammefatig og perspektiv R Opgaver Normalfordeligsmodeller 27 3 E stikprøve med kedt varias Statistisk model Maksimum likelihood estimatio Kofidesiterval for middelværdie Test af hypotese om middelværdie Sammefatig og perspektiv R Opgaver

6 6 INDHOLD 4 E stikprøve med ukedt varias Statistisk model Maksimum likelihood estimatio Kofidesiterval for middelværdie Test af hypotese om middelværdie Kotrol af ormalfordeligsatagelse Sammefatig og perspektiv R Opgaver To stikprøver Statistisk model Maksimum likelihood estimatio Kofidesitervaller Hypotesetest Modelkotrol Eksempel: Eergiforbrug Sammefatig og perspektiv R Opgaver Lieær regressio Statistisk model Maksimum likelihood estimatio Kofidesitervaller Hypotesetest Regressiosliie og prædiktio Residualer og modelkotrol

7 INDHOLD Eksempel: CAPM Sammefatig og perspektiv R Opgaver Referecer 153 Ideks 153

8 8 INDHOLD

9 Kapitel 1 Biomialfordelige I mage sammehæge er ma iteresseret i hyppighede for et givet fæome, og ma vil så idsamle data der ideholder iformatio om dee hyppighed. Atag for eksempel at ma er iteresseret i risikoe for e give bivirkig (hovedpie) af et medicisk præparat. Hvis ma giver 100 patieter medicie og udersøger hvor mage der får hovedpie (passede ofte og passede kraftigt), så vil adele af patieter med hovedpie sige oget om dee risiko. Eller atag at ma vil udersøge e persos eve til at smage forskel på Coca-cola og Pepsi. Persoe får serveret to glas cola, et af hver slags, og skal så efter smagig udpege hvilket glas der ideholder Pepsi. Eksperimetet getages 10 gage, og de relative hyppighed af gage hvor persoe svarer korrekt ideholder iformatio om hvorvidt persoe ka smage forskel. Det er ikke svært at berege relative hyppigheder problemet er hvor meget vi ka stole på dem. Hvis vi udførte eksperimetet på y (med 100 ye patieter, eller med 10 ye smagstest), så ville vi æppe få præcis det samme resultat, så hvor pålidelige er de relative hyppigheder bereget fra de data der u egag er til rådighed? E vigtig poite med e statistisk aalyse er etop at de beskriver usikkerhede i de opåede resultater! Eksperimetere ovefor ka beskrives ved hjælp af biomialfordelige, og vi skal i dette kapitel itroducere de statistiske begreber statistisk model, likelihoodfuktio og estimator for e simpel biomialfordeligsmodel. Matematisk set er det gaske simpelt. Det vaskelige ligger sarere i at forstå selve begrebere og hvad de skal gøre godt for. Hovedformålet med dette kapitel er etop at give et idtryk af dette.

10 10 Biomialfordelige 1.1 Statistisk model E statistisk model skal bruges til at beskrive de usikkerhed der er forbudet med data. Modelle specificeres ved at agive udfaldsrummet samt de fordeliger som med rimelighed ka atages at have frembragt data. Vi vil i dette afsit opstille e simpel statistisk model baseret på biomialfordelige. Lad os atage at vores observatio (eller data) x er atallet af gage e give hædelse er idtruffet i uafhægige getagelser af samme forsøg. Sadsylighede p for at hædelse idtræffer er de samme i hvert forsøg. Forsøget ka være et smagsforsøg hvor de iteressate hædelse er om persoe ka udpege glasset med Pepsi, og p er sadsylighede for at dette sker. Eller forsøget ka være medicierig af e patiet hvor de iteressate hædelse er om patiete får hovedpiebivirkiger, og p er sadsylighede for at dette er tilfældet for e tilfældig patiet. Dette ka formaliseres ved hjælp af biomialfordelige (MS, afsit 3.2) idet vi ka tæke på observatioe x som e realisatio af e stokastisk variabel X der er biomialfordelt med atalsparameter og sadsylighedsparameter p. Udfaldsrummet for X er E = {0,1,...,}. Atalsparametere er et kedt tal (atallet af getagelser), me sadsylighedsparametere p er ukedt. Det eeste vi ved, er at de ligger i itervallet [0,1]. For ethvert p [0,1] er der e tilhørede fordelig, og de statistiske model består af udfaldsrummet for X samt dee samlig eller familie af fordeliger, altså alle biomialfordeliger med atalsparameter. Sadsylighedsparametere p er som sagt ikke et kedt tal. Vi siger at p er e ukedt parameter som skal estimeres fra data. Det vil vi gøre i æste afsit. Mægde af mulige værdier for parametere kaldes parametermægde og beæves Θ. Hvis der ikke er yderligere restriktioer på p så er p Θ = [0,1], me Θ ka også være e midre delmægde af [0,1]. Formelt ka vi specificere de statistiske model ved at agive udfaldsrummet samt familie af fordeliger, beteget P. Alterativt ka vi bruge e formulerig der ivolverer de stokastiske variabel X. Hvis vi bruger otatioe bi(, p) for biomialfordelige med parametre og p har vi altså følgede defiitio. Defiitio 1.1. Modelle for e ekelt biomialfordelt observatio består af udfaldsrummet E = {0,1,...,} samt familie P = {bi(, p) : p Θ} hvor Θ [0, 1]. Alterativ formulerig: Lad X være e stokastisk variabel med udfaldsrum {0,1,...,}, og atag at X bi(, p) hvor p Θ.

11 1.1 Statistisk model 11 Type af fordelig, de ekelte fordeliger i modelle og de ukedte parameter formaliserer forskellige aspekter af vores vide/uvidehed om det (videskabelige) problem som data skal belyse. Vi ka fortolke igrediesere på følgede måde: Valget af fordeligstype formaliserer vores forhådsvide eller forhådsatagelser. I situatioe med uafhægige getagelser af et forsøg med to udfald er biomialfordelige det aturlige valg. De ekelte fordeliger formaliserer de usikkerhed der er forbudet med observatioere. Mere specifikt: for e fast værdi af p agiver sadsylighedsfuktioe for bi(, p) fordelige af X: ( ) P(X = x) = f p (x) = p x (1 p) x, x = 0,1,...,. x Bemærk fodteget på f der uderstreger at sadsylighedsfuktioe afhæger af p. Mægde af sadsylighedsfordeliger specificeret ved mægde af mulige parametre i modelle formaliserer de uvidehed vi har om de mekaismer der har frembragt observatioere. Vi ved ikke hvilke værdi af p der ka atages at have frembragt x. Det er ikke ødvedigvis altid rimeligt at bruge hele [0, 1] som parametermægde. I eksemplet med smagsteste er det svært at fortolke sadsyligheder der er midre ed 1/2 det svarer til at persoe vælger det korrekte glas sjældere ed hvis ha gætter så ma ka hævde at de aturlige parametermægde er Θ = [1/2, 1]. Dette vil vi dog ikke gøre mere ud af i det følgede. I situatioe med uafhægige getagelser af samme forsøg virkede det oplagt at bruge biomialfordelige, me ormalt er det e vaskelig sag at vælge e statistisk model. Hvis getagelsere ikke er uafhægige for eksempel fordi forsøgspersoe ikke skyller mude mellem smagstestee, eller fordi ogle af patietere er i familie og dermed har fælles geer, så er atallet ikke biomialfordelt. Tilsvarede hvis sadsylighede ikke er de samme i de ekelte getagelser, for eksempel fordi der ka være forskel på mæds og kviders tedes til hovedpie. I virkelighede tror vi ikke ødvedigvis at alle forudsætigere der ligger til grud for e give model, er opfyldt. Vi bruger sarere modelle som e approksimatio til virkelighede fordi vi meer at de giver e god beskrivelse af usikkerhede i data og samtidig beskriver vores magel på fuldstædig vide. Det skal selvfølgelig

12 12 Biomialfordelige udersøges ærmere om modelle giver e rimelig beskrivelse af data fordi koklusioere resultatere af de statistiske aalyse afhæger kritisk af forudsætigere i modelle. 1.2 Maksimum likelihood estimatio Hvis X bi(, p) for et givet p så beskriver sadsylighedsfuktioe ( ) f p (x) = P(X = x) = p x (1 p) x, x = 0,1,..., (1.1) x sadsylighedere for de mulige udfald af X: hvis sadsylighedsparametere er p så er sadsylighede for at observere x som agivet. Det er såda vi tæker år vi laver sadsylighedsregig. Vores situatio er imidlertid de modsatte: vi har e observatio x, me keder ikke sadsylighedsparametere p. Udfra observatioe øsker vi at estimere parametere p. Det betyder løst sagt at fide de værdi af p der passer bedst muligt med observatioe x. Det ka jo betyde hvad som helst og skal præciseres ærmere: som estimat vil vi bruge de værdi af p der gør det mest sadsyligt at observere etop de værdi af X som vi har observeret. Takegage er altså at berege f p (x) = P(X = x) for de observerede værdi x for alle mulige værdier af p og så vælge de værdi af p der giver de største værdi. Dette formaliseres ved hjælp af likelihoodfuktioe. Likelihoodfuktioe er idetisk med sadsylighedsfuktioe bortset fra at de u opfattes som fuktio af p for fast x sarere ed omvedt. Hvis parametermægde er Θ, så er likelihoodfuktioe hørede til observatioe x defieret ved L x : Θ [0,1] ( ) L x (p) = f p (x) = p x (1 p) x, p Θ. x Som estimat for p vil vi bruge de værdi i Θ der gør L x størst mulig, hvor x altså holdes fast i observatiosværdie. Vi søger således e værdi ˆp Θ så L x ( ˆp) L x (p), p Θ, og kalder ˆp for et maksimum likelihood estimat eller et maksimaliserigsestimat for p. Ma bruger også forkortelse MLE. Maksimum likelihood estimatet afhæger af de observerede værdi x og for at uderstrege dette skriver vi sommetider ˆp(x).

13 1.2 Maksimum likelihood estimatio 13 Maksimum likelihood estimatio er illustreret i vestre side af figur 1.1. Likelihoodfuktioe er teget som fuktio af p for = 20 og x = 7. Det følger af sætige edefor at fuktioe har maksimum for p = 7/20 = L(p) p log L(p) p Figur 1.1: Likelihoodfuktioe (til vestre) og log-likelihoodfuktioe (til højre) som fuktio af p for x = 7 i e biomialfordelig med = 20. Maksimum atages for p = x/ = Sætig 1.2. For de statistiske model fra defiitio 1.1 med Θ = [0,1] er maksimum likelihood estimatet for p etydigt bestemt og givet ved ˆp(x) = x/. Bevis Da x er fast, er biomialkoefficiete ude betydig for optimerigsproblemet. Vi defierer derfor fuktioe g : [0,1] R ved g(p) = p x (1 p) x. Bemærk først at hvis x = 0 så har g maksimum for p = 0, og hvis x = så har g maksimum for p = 1. Altså er ˆp(x) = x/ i disse tilfælde. Atag deræst at x {1,..., 1}. Så er g(p) = 0 for p {0,1}, me g(p) > 0 for p (0,1), så e løsig skal søges bladt statioære pukter. Fuktioe h givet ved h(p) = logg(p) = xlog(p) + ( x)log(1 p) er veldefieret på (0,1) og har maksimum samme sted som g da log er stregt voksede. Desude er h to gage kotiuert differetiabel med h (p) = x p x 1 p = x p p(1 p) h (p) = x p 2 x (1 p) 2.

14 14 Biomialfordelige Specielt er h (p) = 0 hvis og ku hvis p = x/ og h (p) < 0 for alle p (0,1). Således har h og dermed g maksimum for p = x/. Bemærk at vi med det samme fjerede biomialkoefficiete fra optimerigsproblemet: der er ikke oge grud til at slæbe rudt på led der ikke afhæger af parametere p. Bemærk også at vi lavede fuktiosudersøgelse for fuktioe h, defieret som logaritme til likelihoodfuktioe (på ær e kostat), sarere ed likelihoodfuktioe selv. Vi taler også om log-likelihoodfuktioe. De er illustreret i højre side af figur 1.1. Dette trick beyttes ofte, bladt adet fordi produkter derved bliver omsat til summer der er meget emmere at rege med. Resultatet fra sætig 1.2 er ikke særligt overraskede: sadsylighede for at e give hædelse idtræffer skal estimeres ved de relative hyppighed af gage hædelse idtræffer i uafhægige eksperimeter. Det er faktisk svært at forestille sig oge ade estimator for p, me der er alligevel ogle vigtige poiter at otere sig. De vigtigste er fortolkige af ˆp = x/ som realisatioe af de stokastiske variabel ˆp(X) = X/. Dee variabel kaldes maksimum likelihood estimatore. Vi skeler således mellem estimatet x/ som er et tal og estimatore X/ som er e stokastisk variabel og derfor har e fordelig. Da X ka atage værdiere 0,1,..., ka ˆp atage værdiere 0,1/,2/,...,1 og sadsylighedsfuktioe for ˆp er givet ved ( P ˆp = x ) = P(X = x) = ( ) p x (1 p) x, x x = 0,1,...,. Fordelige af ˆp er illustreret i figur 1.2 for = 20, til vestre for p = 0.5 og til højre for p = 0.8. Det er ok emmest at forstå hvad fordelige af ˆp betyder hvis vi forestiller os dataidsamlige for eksempel et smagseksperimet med 20 getagelser getaget mage gage. Hver dataidsamlig giver aledig til e observatio x og dermed et estimat ˆp = x/. Hvis de sade værdi af sadsylighedsparametere er 0.5 vil vi for eksempel i cirka 12% af tilfældee få estimatet 0.6 (vestre side af figur 1.2). Hvis de sade værdi af sadsylighedsparametere derimod er 0.8 vil dette ku ske i cirka 2% af tilfældee (højre side af figur 1.2). E ade måde at udtrykke fordelige af ˆp er ved at sige at ˆp som jo etop er X er biomialfordelt med atalsparameter og sadsylighedsparameter p. Hvis de sade parameter er p således at X bi(, p), følger det af MS, eksempel og eksempel , at ˆp har middelværdi og varias E( ˆp) = E(X) = p, Var( ˆp) = Var(X) = p(1 p).

15 1.2 Maksimum likelihood estimatio 15 Sadsylighedsfuktio p^ Sadsylighedsfuktio p^ Figur 1.2: Sadsylighedsfuktioe for ˆp for = 20. Sadsylighedsparametere er p = 0.5 (til vestre) og p = 0.8 (til højre). Det følger derefter fra MS, sætig og formel (3.3.9), at ˆp har middelværdi E( ˆp) = E ( ) X = 1 E(X) = 1 p = p (1.2) og varias ( ) X Var( ˆp) = Var = 1 2 Var(X) = 1 p(1 p) p(1 p) =. (1.3) 2 Egeskabe (1.2) udtrykker at middelværdie af maksimum likelihood estimatore er lig de sade værdi, og vi siger at ˆp er e cetral estimator for p. Dette illustreres af figur 1.2 hvor middelværdiere er 0.5 heholdsvis 0.8. At ˆp er cetral betyder løst sagt at estimatore i geemsit rammer de sade værdi, dvs. at geemsittet af estimater fra mage uafhægige forsøg vil ærme sig de sade værdi i passede forstad. Egeskabe (1.3) udtrykker bladt adet at variase af ˆp er aftagede i. Dette giver god meig: flere getagelser giver aledig til større præcisio. Dette er illustreret i figur 1.3 hvor sadsylighedsfuktioe for ˆp er teget for (, p) = (20,0.8) til vestre og (, p) = (50,0.8) til højre. Specielt er p altså es i de to figurer. Fordelige af ˆp er tydeligvis smallere for = 50 ed for = 20. Lad os formulere egeskabere ved fordelige af ˆp i e sætig:

16 16 Biomialfordelige Sadsylighedsfuktio p^ Sadsylighedsfuktio p^ Figur 1.3: Sadsylighedsfuktioe for ˆp for = 20 (til vestre) og = 50 (til højre). Sadsylighedsparametere er p = 0.8 i begge figurer. Sætig 1.3. Lad ˆp = X/ være maksimum likelihood estimatore for de statistiske model fra defiitio 1.1 med Θ = [0,1]. Så er ˆp biomialfordelt, ˆp bi(, p). Specielt er E( ˆp) = p og Var( ˆp) = p(1 p)/. Der er e ikke ubetydelig hage ved fordeligsresultatet fra sætig 1.3: vi keder ikke de sade værdi af p. Ikke desto midre er vi glade for resultatet: estimatore har e kedt fordelig og er ove i købet cetral med e varias der aftager med atalsparametere. Desude har vi jo et estimat for ˆp og vi ka derfor få et estimat for fordelige ved at idsætte dette estimat: de estimerede fordelig for ˆp er bi(, x/). Bemærk specielt at de estimerede spredig for ˆp er ˆp(1 ˆp)/, jf. (1.3). Vi vil sommetider skrive s( ˆp) for dee estimerede spredig, altså ˆp(1 ˆp) x s( ˆp) = = (1 x ). Eksempel 1.4. (Smagsforsøg) E forsøgsperso får serveret to glas cola (Coca-cola og Pepsi) og bliver bedt om at udpege glasset med Pepsi. Dette getages 20 gage og persoe udvælger det rigtige glas x = 15 gage. Uder passede atagelser overvej selv hvilke er det rimeligt at atage at x er e realisatio af e bi(20, p)- fordelt stokastisk variabel hvor p er sadsylighede for at persoe ka udpege

17 1.2 Maksimum likelihood estimatio 17 glasset med Pepsi i e tilfældig smagsprøve. Estimatet for p er således ˆp = 15/20 = 0.75, og hvis vi bruger Θ = [0,1] som parametermægde, så er ˆp = X bi(20, p). De estimerede fordelig af ˆp er bi(20,0.75), og ˆp har estimeret spredig s( ˆp) = Bemærk at værdie p = 0.5 svarer til at forsøgspersoe ikke ka smage forskel: ha eller hu gætter, og gætter derfor rigtigt med sadsylighed 0.5 hver gag. Værdier større ed 0.5 svarer derimod til at persoe i e vis udstrækig ka smage forskel. Hvis p = 0.5, så er X bi(20,0.5) og så er sadsylighedsfuktioe for ˆp de som er teget i de vestre del af figur 1.2. Her ka vi se at det er ret usædvaligt at observere værdier af ˆp der er 0.75 eller større, dvs. værdier af X der er 15 eller større. Der er således et vist belæg for at hævde at forsøgspersoe faktisk ka smage forskel. Eksempel 1.5. (Medelsk spaltig) For at udersøge arvelighed udførte Gregor Medel i midte af 1800-tallet e lag række eksperimeter med ærteblomster. I et af forsøgee udersøgte Medel farvefordelige for 1238 såkaldte adegeeratiosfrø (se edefor): 949 var gule og 289 var grøe. Hvis vi atager at hvert af frøee har samme sadsylighed for at blive gult og at ærtefrøee ikke har oget med hiade at gøre, ka vi atage at atallet af gule frø er biomialfordelt med atalsparameter = 1238 og sadsylighedsparameter p. Estimatet for p er dermed ˆp = 949/1238 = Estimatores fordelig er givet ved ˆp bi(1238, p), de estimerede fordelig af ˆp er bi(1238,0.767), og ˆp har estimeret spredig s( ˆp) = Farve på frøet bestemmes af hvad vi i dag ville kalde et ge. Farvegeet forekommer i to variater: A der er domiat og giver gul farve og a der er recessiv og giver grø farve. I eksperimetet krydsede Medel idivider med geotype AA og idivider med geotype aa. I første geeratio er alle idividere af type Aa og dermed gule. I ade geeratio er geotypere givet ved følgede skema: Køscelle A a A AA Aa a aa aa Hvis de medelske regler for arvelighed gælder, vil forekomste af fæotypere altså ærteres udseede være i forholdet 3:1 mellem gule og grøe idet gul forekommer for kombiatioere AA, Aa og aa, mes grø ku forekommer for kombiatioe aa. Dette svarer til at sadsylighedsparametere i de statistiske model er p = 0.75.

18 18 Biomialfordelige Hvis de sade værdi af p er 0.75, så er ˆp = X bi(1238,0.75). Vi ka så berege P( ˆp 0.767) = P(X 949) = P( ˆp 0.767) = P(X 949) = hvilket idikerer at de observerede værdi af ˆp ligger rimeligt cetralt i fordelige. Data er således ikke umiddelbart i modstrid med de medelske regler. Sommetider er ma iteresseret i hvorvidt e specifik værdi af sadsylighedsparametere, p 0, er rimelig eller ej, data taget i betragtig. Som atydet i eksemplere ovefor udersøger ma så hvor ekstremt de observerede værdi af ˆp ligger i fordelige af ˆp hvis sadsylighedsparametere faktisk er p 0. Hvis estimatet ligger ekstremt i fordelige, svarede til at de observerede data er usadsylige, så kokluderer ma at værdie p 0 æppe er de rigtige. Omvedt, hvis estimatet ligger rimeligt cetralt i fordelige kokluderer ma at p 0 ikke ka afvises at være de rigtige. Som tommelfigerregel ka ma sige at værdie p 0 er i god overesstemmelse med data hvis p 0 ligger i itervallet fra ˆp ± 2 s( ˆp). Mere formelt ka ma udføre et hypotesetest. Vi vil ikke sige yderligere om hypotesetest for biomialdata, me veder tilbage til det i kapitel 3. Ide vi gør situatioe lidt mere geerel er det værd at dvæle ved det pricip som vi brugte til at fide ˆp: Maksimum likelihood estimatore ˆp(x) er de værdi af p som maksimerer likelihoodfuktioe, dvs. de værdi af p der gør de observerede værdi x mest sadsylig. Det virker ikke helt tåbeligt. Atag et øjeblik at der ku er to mulige sadsyligheder, for eksempel 0.15 og 0.50, svarede til Θ = {0.15, 0.50}, og at vi har observeret værdie x = 2 i e biomialfordelig med atalsparameter 10. Så er P 0.15 (X = 2) = 0.276; P 0.50 (X = 2) = hvor vi har brugt fodteg til at markere værdie af sadsylighedsparametere, og det virker foruftigt at tro mere på at de sade sadsylighed er 0.15 ed Det er dee takegag der er geeraliseret til tilfældet hvor p tillades at variere i hele itervallet [0,1]. 1.3 Modeller med edeligt udfaldsrum I dette afsit beskriver vi maksimum likelihood estimatio for statistiske modeller med edeligt udfaldsrum. Biomialfordeligsmodelle fra defiitio 1.1 er et specialtilfælde, og formålet med at se på de mere geerelle klasse af modeller er at uderstrege at maksimum likelihood metode er et geerelt estimatiospricip.

19 1.3 Modeller med edeligt udfaldsrum 19 Atag at data ka beskrives ved hjælp af e fordelig på e edelig mægde E med e sadsylighedsfuktio som er kedt, bortset fra at de afhæger af e ukedt parameter. Lad os kalde parametere θ og atage at de varierer i parametermægde Θ. Parametere θ ka være flerdimesioal, for eksempel d-dimesioal, således at Θ er e delmægde af R d. For hvert θ Θ har vi altså e sadsylighedsfuktio f θ : E [0,1] hvor f θ (x) er sadsylighede for at observere x hvis parametere er θ. Vi forestiller os u at vi har e observatio x og tæker på x som e realisatio af e stokastisk variabel X med sadsylighedsfuktio f θ. Vi opfatter sadsylighedsfuktioe som fuktio af de ukedte parameter θ, for de observerede værdi x. Dette giver os likelihoodfuktioe, L x : Θ [0,1], L x (θ) = f θ (x), θ Θ, og e maksimum likelihood estimator er e værdi ˆθ Θ der gør L x størst mulig: L x ( ˆθ) L x (θ), θ Θ. Som for biomialfordeligsmodelle vil estimatore ˆθ afhæge af observatioe x. Vi skriver således ˆθ(x) og ka også betragte estimatore ˆθ(X) som e stokastisk variabel og tale om des fordelig. Bemærk at det ikke på forhåd er givet at estimatet eksisterer og er etydigt bestemt. Det skal udersøges for e give model ligesom vi gjorde det for biomialmodelle. Eksempel 1.6. (Legetøjseksempel) Atag at observatioe x er et udfald af e stokastisk variabel der ka atage værdiere 0, 1 og 2, og at fordelige af X har sadsylighedsfuktio θ/4, x = 0 f θ (x) = 3θ/4, x = 1 1 θ, x = 2 for e ukedt parameter θ. Overvej selv at dette defierer et sadsylighedsmål hvis og ku hvis θ [0,1]. Således er Θ = [0,1] de aturlige parametermægde. Likelihoodfuktioe fås ved at betragte sadsylighedsfuktioe som fuktio af θ for fast x, altså L x (θ) = f θ (x) for θ [0,1]. Det er klart at L x har maksimum for θ = 1 hvis x = 0,1 og for θ = 0 hvis x = 2. Således eksisterer maksimum likelihood estimatet og er etydigt givet ved ˆθ(x) = { 1, x = 1,2 0, x = 2

20 20 Biomialfordelige De tilhørede estimator ˆθ = ˆθ(X) er e stokastisk variabel med værdier i {0,1} og fordelig givet ved P ( ˆθ(X) = 1 ) = P(X {0,1}) = θ 4 + 3θ 4 = θ P ( ˆθ(X) = 0 ) = P(X = 2) = 1 θ. Specielt er E( ˆθ) = θ, så ˆθ er e cetral estimator for θ. Eksempel 1.7. (Vetetid) Betragt et forsøg med to udfald (succes og fiasko), og atag at det getages idtil succesudfaldet idtræffer, dog højst 4 gage. Hvis X er e stokastisk variabel der tæller atallet af gage forsøget getages, så har X udfaldsrum {1,2,3,4}, og hvis successadsylighede er p, så har X sadsylighedsfuktio { p(1 p) f p (x) = x 1, x = 1,2,3 (1 p) 3, x = 4. Se også opgave 1.7. Vi atager at sadsylighedsparametere p [0, 1] er ukedt og skal estimeres på baggrud af e observatio x. Som for biomialmodelle opstiller vi likelihoodfuktioe ved at betragte sadsylighedsfuktioe som fuktio af p sarere ed x: L x (p) = f p (x), p [0,1]. Maksimum likelihood estimatet er så e værdi af p der gør L x (p) størst mulig. Det viser sig se ige opgave 1.7 at { 1/x, x = 1,2,3 ˆp(x) = 0, x = 4 Udfaldsrummet for estimatore ˆp = ˆp(X) er altså {1, 1/2, 1/3, 0}, og sadsylighedsfuktio er givet ved p, y = 1 p(1 p), y = 1/2 P( ˆp = y) = p(1 p) 2, y = 1/3 (1 p) 3, y = 0 Specielt ka vi rege på middelværdie af ˆp: E ( ˆp ) = p p(1 p) p(1 p)2 = p ( p + 1 ) 3 p2 der er lig p år p {0,1}, me ellers skarpt større ed p. Det er altså ikke alle estimatorer der er cetrale.

21 1.4 Sammefatig og perspektiv Sammefatig og perspektiv Vi har studeret e situatio hvor data ka tækes at komme fra uafhægige getagelser af et eksperimet med to mulige udfald. I dee ramme har vi defieret og udersøgt følgede: E statistisk model er e familie af biomialfordeliger hvor sadsylighedsparametere er ukedt og skal estimeres ved hjælp af data. Maksimum likelihood estimatet er de værdi af p der gør de observerede værdi mest sadsylig. Maksimum likelihood estimatore er de tilhørede stokastiske variabel forstået på de måde at estimatet er de observerede værdi af estimatore. Fordelige af estimatore beskriver de usikkerhed der er forbudet med estimatet, og vi ka specielt iteressere os for estimatores middelværdi, varias og spredig. Maksimum likelihood estimatio er et meget geerelt estimatiospricip, og vi beskrev metode for statistiske modeller med edeligt udfaldsrum. Seere i boge skal vi se hvorda samme pricip ka bruges for statistiske modeller baseret på ormalfordelige. Der fides adre estimatiospricipper, for eksempel mometestimatio. I de give biomialfordeligsmodel betyder det at estimere p således at E(X) er lig de observerede værdi x. Når X er biomialfordelt med parametre og p er E(X) = p så kravet er at p = x eller p = x/. I dette tilfælde giver de to estimatiospricipper altså de samme estimator, me dette er ikke altid tilfældet. Geerelt set foretrækker vi estimatorer der er cetrale, dvs. som opfylder E( ˆp) = p, og har lille varias. Ma ka for e meget geerel klasse af modeller vise at maksimum likelihood estimatore har ligede egeskaber (for stor ok) således at vi ormalt foretrækker de, me det ligger lagt udefor dette kursus at idse disse tig. 1.5 R Beregigere i dette kapitel er så simple at de emt ka udføres på e lommereger eller mauelt i R. Det ka dog være yttigt at kede fuktioere dbiom og pbiom der bereger værdier af sadsylighedsfuktioe og fordeligsfuktioe for biomialfordelige.

22 22 Biomialfordelige Atag for eksempel at X er biomialfordelt med atalsparameter 20 og sadsylighedsparameter 0.3. Vi ka berege P(X = 3) og P(X 3) således: > dbiom(3, size=20, p=0.3) # P(X=3), X bi(20,0.3) [1] > dbiom(0:3, size=20, p=0.3) # P(X=x) for x=0,1,2,3 [1] > sum(dbiom(0:3, size=20, p=0.3)) # Summe, dvs. P(X <= 3) [1] > pbiom(3, size=20, p=0.3) # P(X <= 3) ige [1] Fuktioe rbiom bruges til simulatio af udfald fra biomialfordelige. Følgede kommado simulerer 10 udfald fra bi(20,0.3): > rbiom(10, size=20, p=0.3) # 10 udfald fra bi(20,0.3) [1] Hvis kommadoe getages, fås et adet output da kommadoe gerererer tilfældige tal. Bemærk at ma ikke behøver skrive size= og p=. Kommadoere > dbiom(3, 20, 0.3) > pbiom(3, 20, 0.3) > rbiom(10, 20, 0.3) er således idetiske med de oveståede. 1.6 Opgaver 1.1 Et opgavesæt består af 50 spørgsmål af vekslede sværhedsgrad. Hvert spørgsmål ka besvares ete rigtigt eller forkert. 1. Ka biomialfordelige bruges til at beskrive atallet af rigtige svar for e ekelt perso? 2. Ka biomialfordelige bruges til at beskrive atallet af gage 50 persoer besvarer prøves første spørgsmål rigtigt?

23 1.6 Opgaver E valutahadler registrerer i e periode på 21 dage om rete på e bestemt obligatio stiger i forhold til de foregåede dag. Uder hvilke omstædigheder ka biomialfordelige bruges til at beskrive atallet af dage hvor rete er steget? 1.3 For at udersøge udviklige på aktiemarkedet e bestemt dag udvælges 10 aktier, og det registreres hvor mage af aktiere der er faldet i kurs de pågældede dag. 1. Uder hvilke omstædigheder ka biomialfordelige bruges til at beskrive atallet af aktier hvor kurse er faldet? Hvad er fortolkige af sasylighedsparametere p? Atag at omstædighedere er opfyldt og at kurse faldt for otte af aktiere, dvs. x = Opstil e statistisk model der ka bruges til at beskrive eksperimetet. Agiv et estimat for p, de tilhørede estimators fordelig, og de estimerede spredig for estimatore. 3. Værdie 0.5 af sadsylighedsparametere er særligt iteressat. Hvorfor? 4. Atag at sadsylighedsparametere er 0.5. Hvad er så sadsylighede for at midst 8 aktier faldt i kurs, og hvad er sadsylighede for at højst 8 aktier faldt i kurs? 5. Tyder data på at der har været e geerel udviklig i aktiekursere de pågældede dag? Vik: Vi har ikke præcise redskaber til at svare på dette, me atag at alle aktier ete falder eller stiger i kurs, og overvej hvad svaret på spørgsmål 4 siger om sage. 1.4 Kødprøver aalyseres med kemiske test for tilstedeværelse af bestemte typer bakterier. Ideelt set er prøve positiv hvis bakterietype er i kødet og egativ hvis bakterietype ikke er i kødet. Tabelle edefor viser resultatere for 62 kødprøver med bakterie E. coli O157 og 131 kødprøver ude bakterie E. coli-o157. Som det ses er teste ikke perfekt. Positiv test Negativ test Total Kød med E. coli-o Kød ude E. coli-o

24 24 Biomialfordelige Sesitivitete af teste defieres som sadsylighede for at teste er positiv hvis bakterie er tilstede, mes specificitete defieres som sadsylighede for at teste er egativ hvis bakterie ikke er tilstede. 1. Agiv et estimat for sesitivitete af teste og et estimat for specificitete af teste. 2. Bereg de estimerede spredig for estimatore for sesitivitete og de estimerede spredig for estimatore for specificitete. 3. Atag at ma plalægger et yt forsøg og at ma øsker e estimeret spredig for sesitivitete på Hvor mage kødprøver bør ma bruge? 1.5 Atag at e møt ete har sadsylighede p = 1/2 eller p = 1/4 for at vise kroe. Møte kastes gage og viser kroe x gage. 1. Opskriv e statistisk model der beskriver forsøget. Specielt: hvad er parametermægde? 2. Vis at L x (0.5) = L x (0.25) hvis og ku hvis x = x 0 hvor x 0 = log(3/2). log(3) 3. Vis at ˆp(x) = 0.25 hvis x < x 0 og at ˆp(x) = 0.75 hvis x > x 0 (bemærk at x stadig er et heltal mellem 0 og ). 4. Atag at = 5, og bestem P 1/2 ( ˆp = 1/2) og P 1/4 ( ˆp = 1/2), dvs. sadsylighede for at ˆθ = 1/2 år p = 1/2 heholdsvis p = 1/4. Kommeter resultatet. 1.6 Betragt eksempel 1.6. Vis at f θ defierer e sadsylighedsfuktio hvis og ku hvis θ [0,1], se evt. MS, defitio Betragt eksempel 1.7 om vetetid. 1. Vis at X har sadsylighedsfuktio f p som agivet i eksemplet. 2. Vis at maksimum likelihood estimatet ˆp(x) er som agivet i eksemplet. 3. Gør rede for at maksimum likelihood estimatore har sadsylighedsfuktio som agivet i eksemplet.

25 1.6 Opgaver Vis at middelværdie af ˆp er som påstået i eksemplet og at de er større ed p for p (0,1). Forklar hvad det betyder. 1.8 Lad θ {1,2,...} være e ukedt parameter, og atag at X er e stokastisk variabel med udfaldsrum {1, 2,..., θ} og puktsadsyligheder f θ (x) = P(X = x) = 1, x {1,...,θ}. (1.4) θ 1. Gør rede for at (1.4) faktisk defierer e sadsylighedsfuktio for e vilkårlig værdi θ {1,2,...}. 2. Opstil likelihoodfuktioe for θ og fid derefter maksimum likelihood estimatet. Vik: For et givet x, hvad er de mulige værdier af θ? 1.9 Lad X 1,...,X være uafhægige stokastiske variable hvor X i er biomialfordelt med atalsparameter m i og sadsylighedsparameter p. Bemærk at sadsylighedsparametere er de samme for alle X i. Specielt er de mulige værdier for X i værdiere 0,1,...,m i, så fordelige af (X 1,...,X ) er kocetreret på M = {0,1,...,m 1 } {0,1,...,m }. 1. Vis at sadsylighedsfuktioe for X = (X 1,...,X ) er givet ved p(x 1,...,x ) = [ ( mi hvor s = x i og m = m i. x i ) ] p s (1 p) m s, (x 1,...,x ) M Atag u at vi har observeret (x 1,...,x ) og vil estimere p. 2. Opskriv likelihoodfuktioe og log-likelihoodfuktioe. 3. Fid maksimum likelihood estimatet for p. 4. Agiv fordelige af maksimum likelihood estimatore. Atag i stedet at vi ku har observeret summe s = x x (i stedet for alle x i ere). 5. Opstil e statistisk model der beskriver s. Agiv estimatet for p baseret på dee observatio og estimatores fordelig. Sammelig med spørgsmål 3 og 4 og forklar resultatet.

26 26 Biomialfordelige 1.10 Dette er e fortsættelse af opgave 1.9. For at udersøge tilfredshede med bibliotekere har ma i e kommue tre dage i træk spurgt 25 biblioteksgægere om de er tilfredse med serviceiveauet. Der var ku to svarmuligheder: tilfreds eller ikke tilfreds. På de tre dage svarede heholdsvis 16, 18 og 13 borgere at de var tilfredse. 1. Opstil e statistisk model der beskriver data. 2. Bestem et estimat for adele af tilfredse biblioteksgægere i kommue. 3. Agiv fordelige af estimatore samt de estimerede spredig for estimatore.

27 Kapitel 2 Normalfordeligsmodeller I dette og de følgede kapitler skal vi beskæftige os med statistisk aalyse af data der ka atages at være ormalfordelte. Vi skal diskutere statistiske modeller, maksimum likelihood estimatorer, kofidesitervaller, hypotesetest, og modelkotrol. Vi vil overalt atage at data består af observatioer y 1,...,y og tæke på dem som realisatioer eller udfald af stokastiske variable Y 1,...,Y. De statistiske model består så af udfaldsrummet og de mulige simultae fordeliger for (Y 1,...,Y ). Tre atagelser går ige for alle de ormalfordeligsmodeller vi skal kigge på i disse oter. Uafhægighed De første atagelse er at Y 1,...,Y er uafhægige. Dette letter opgave med at opstille e statistisk model betragteligt fordi det så er ok at beskrive de margiale fordeliger: Tæthede for de simultae fordelig er lig produktet af de margiale tætheder (MS, sætig 5.2.1). Normalfordelig De ade atagelse er at de margiale fordelig af Y i er e ormalfordelig for alle i = 1,...,, således at vi ku magler at agive de mulige middelværdier og variaser. Variashomogeitet De tredje atagelse er at alle Y i har samme varias. Dette kaldes variashomogeitet. Så er der ku middelværdiere tilbage at lege med. Vi starter med de simpleste situatio i kapitel 3 og 4 hvor atagelse er at alle observatioer har samme middelværdi og dermed samme fordelig. Vi taler om e ekelt stikprøve. I kapitel 3 atager vi desude at variase er kedt. Dette er som regel urealistisk, me de forskellige begreber ka med fordel itroduceres i dee ramme fordi modelle matematisk set er

28 28 Normalfordeligsmodeller em at gå til. I kapitel 4 diskuterer vi tilfældet hvor både middelværdi og varias er ukedte. I kapitel 5 fortsætter vi med to stikprøver hvor atagelse er at observatioere stammer fra to forskellige ormalfordeliger svarede til e opdelig af observatioere i to forskellige grupper. Det kue for eksempel være opdelig efter kø, efter aktietype, eller efter behadligstype. Hovedformålet med e såda aalyse er ofte at udersøge om der er forskel på de to grupper i de forstad at de to ormalfordeligers middelværdier er forskellige, og at kvatificere e evetuel forskel. Edelig hadler kapitel 6 om lieær regressio. Her atages det at der til hver observatio y i er kyttet et tal x i, og at middelværdie i ormalfordelige svarede til y i afhæger lieært af x i. Som regel er ma iteresseret i sammehæge mellem x og y. I dette kursus vil vi ku beskæftige os med disse tre specifikke tilfælde, me I vil møde e mere geerel formulerig i seere kurser. Umiddelbart ka de tre atagelser om uafhægighed, ormalfordelig og variashomogeitet lyde restriktive. Det er de også, me de giver alligevel aledig til e meget yttig klasse af modeller som har e eorm udbredelse. Det er der forskellige grude til. Dels viser det sig at forbavsede mage data med rimelighed ka beskrives ved hjælp af ormalfordelige. Dels er det typisk middelværdistrukture der er af iteresse, og på det pukt er der stadig stor frihed. Edelig har ormalfordelige pæe matematiske/sadsylighedsteoretiske egeskaber således at vi får pæe og eksakte fordeligsresultater for estimatorer og teststørrelser. På de ade side er det vigtigt at uderstrege at modellere ikke ka klare alt. De forskellige resultater vedrørede estimatio, kofidesitervaller og hypotesetest gælder hvis Y i ere opfylder modelatagelsere. Me hvis atagelsere ikke er opfyldt, ved vi ikke hvad der sker, og så ka vi ikke stole på resultatere af de statistiske aalyse. Det er derfor essetielt at udersøge om atagelsere er rimelige hver gag ma udfører statistiske aalyser. Vi vil diskutere atagelser og modelkotrol i eksemplere udervejs, me lad os komme med ogle geerelle betragtiger allerede u. Uafhægighedsatagelse er ofte rimelig hvis observatioere stammer fra forskellige idivider, me æppe rimelig hvis der er flere observatioer fra samme idivid, hvis ogle af idividere er i familie med hiade, eller hvis observatioere er måliger af de samme størrelse over e årrække. Atagelse om es varias er heller ikke altid rimelig. Det er for eksempel ret almideligt at variase er større for observatioer med store middelværdier ed for observatioer med små middelværdier. Edelig er det aturligvis ikke alle

29 29 data der med rimelighed ka beskrives ved hjælp af ormalfordelige. Nogle gage ka problemer med variashomogeitet og ormalfordeligsatagelse afhjælpes ved at trasformere observatioere og aalysere de trasformerede data i stedet for de opridelige, dvs. aalysere f (y 1 ),..., f (y ) for e passede fuktio f. Dette illustreres med data i eksempler og opgaver i det følgede.

30 30 Normalfordeligsmodeller

31 Kapitel 3 E stikprøve med kedt varias I dette kapitel skal vi betragte situatioe med e ekelt ormalfordelt stikprøve eller observatiosrække og yderligere atage at de fælles varias er kedt. Det er ku rimeligt i få situatioer som regel vil vi bruge data til at estimere variase som i kapitel 4 me der er e pædagogisk poite i at gå grudigt til værks. Sage er at vi emt ka vise forskellige egeskaber i dee model, og derfor ka kocetrere os om at forstå de forskellige begreber og meige med dem. Dette vil komme os til gav i de seere kapitler hvor strukture af modellere bliver lidt mere kompliceret. 3.1 Statistisk model Lad os starte med et eksempel. Eksempel 3.1. (Kobbertråd) Til kotrol af e løbede produktio af kobbertråd udtages med passede mellemrum i stykker tråd af es lægde. De i stykker tråd vejes, og erfarigere viser at ma ka atage at vægte er ormalfordelt med e varias på σ 2 = g 2, dvs. e spredig på σ = g. E stikprøve gav følgede vægte (også i gram): Vi atager at de i måliger y 1,...,y 9 er realisatioer af stokastiske variable Y 1,...,Y 9

32 32 E stikprøve med kedt varias der er uafhægige og ormalfordelte med e ukedt middelværdi (som vi er iteresseret i) og e varias på g 2. Ma tilstræber e produktiosstadard svarede til at de geemsitlige vægt af trådstykkere i produktioe er g, og vi skal i det følgede beskrive e metode til at udersøge hvorvidt data er i modstrid med dette mål. Udgagspuktet er at vi atager at de stokastiske variable Y 1,...,Y er uafhægige og allesamme N(µ,σ0 2 )-fordelte. Variase er et kedt tal vi har uderstreget dette ved at betege de σ0 2 mes middelværdie µ ikke er kedt. Middelværdie er med adre ord e parameter i modelle, gaske som sadsylighede p er e parameter i biomialfordeligsmodelle givet i defiitio 1.1. De simultae tæthed for (Y 1,...,Y ) er så f µ (y) = 1 2πσ0 2 exp ( 1 = exp (2πσ0 2 )/2 ( 1 ) 2σ0 2 (y i µ) 2 1 2σ 2 0 (y i µ) 2 ), y = (y 1,...,y ) R, (3.1) jf. MS formel (4.3.5) og MS sætig Hvis vi lader N µ betege fordelige på R med dee tæthed, ka vi defiere de statistiske model som mægde af sådae fordeliger hvor µ varierer i e parametermægde Θ R. Vi vil atage µ R, altså Θ = R, me Θ kue også være e ægte delmægde af R. Defiitio 3.2. Modelle for e ekelt stikprøve med kedt varias består af udfaldsrummet R samt familie P = {N µ : µ R} af fordeliger på R hvor N µ har tæthed (3.1) for et givet σ 2 0 > 0. Alterativ formulerig: Lad Y 1,...,Y være uafhægige og idetisk ormalfordelte stokastiske variable, Y i N(µ,σ0 2) hvor σ 0 2 > 0 er kedt mes µ R er ukedt. Gaske som i biomialtilfældet afspejler de statistiske model vores vide og uvidehed om de mekaismer der har frembragt data. Vores atagelser om uafhægighed og margiale ormalfordeliger formaliserer vores forhådsvide eller forhådsatagelser. Det skal kotrolleres om disse atagelser er opfyldt eller rettere om de giver e rimelig beskrivelse af usikkerhede i data.

33 3.2 Maksimum likelihood estimatio 33 De ekelte ormalfordelig, N(µ,σ0 2 ), beskriver usikkerhede der er forbudet med dataidsamlige hvis µ er de sade parameter. De forskellige mulige værdier af µ formaliserer vores uvidehed om hvilke ormalfordelig der har frembragt data. 3.2 Maksimum likelihood estimatio Tæthede f µ (y) fra (3.1) agiver sadsylighedsmasse per volumeehed omkrig puktet y R, jf. MS formel (5.1.4). Når vi laver sadsylighedsregig tæker vi altså på f µ (y) som udtryk for hvor sadsyligt det er at få data i ærhede af y = (y 1,...,y ) år vi ved at middelværdie er µ. Når vi laver statistik er situatioe de modsatte: vi har data y og atager at de stammer fra uafhægige N(µ,σ 2 0 )-fordelte variable, me vi keder ikke µ. Vi skal bruge vores observatioer til at estimere µ. Husk at vi for biomialfordelige lavede maksimum likelihood estimatio og estimerede sadsylighedsparametere med de værdi der gjorde vores observatio mest sadsylig. Alle udfald i ormalfordelige har sadsylighed ul fordi det er e kotiuert fordelig, så vi ka ikke gøre helt det samme. På de ade side udtrykker tæthede oget ligede, og maksimum likelihood estimatio går ud på at estimere µ med de værdi der maksimerer tæthede f µ (y). Vi vil stadig tæke på estimatet som de værdi af µ der gør de observerede værdier mest sadsylige, selvom vi skal huske at tæke på sadsyligheder for områder sarere ed puktsadsyligheder. På egelsk ville ma tale om the likelihood of the data eller om how likely the data is vi magler tilsvarede formuleriger på dask. Formelt set defierer vi likelihoodfuktioe som tæthede, u opfattet som fuktio af µ for fast y R sarere ed omvedt, og søger e værdi ˆµ der gør fuktioe størst mulig. Likelihoodfuktioe hørede til observatioe y = (y 1,...,y ) R defieres derfor ved L y : R R ( 1 L y (µ) = f µ (y) = exp (2πσ0 2 )/2 1 2σ 2 0 (y i µ) 2 ) (3.2) og et maksimum likelihood estimat ˆµ R opfylder L y ( ˆµ) L y (µ), µ R. (3.3)

34 34 E stikprøve med kedt varias Det er klart fra strukture af L y at det er mere hesigtsmæssigt at arbejde med logaritme til likelihoodfuktioe, også kaldet log-likelihoodfuktioe. Det skyldes at likelihoodfuktioe er defieret som et produkt af tætheder, som så bliver til e sum af log-tætheder. Vi vil sommetider bruge betegelse l for log-likelihoodfuktioe, dvs. l y (µ) = logl y (µ) = 2 log(2πσ 2 0 ) 1 2σ 2 0 (y i µ) 2. Da logaritme er e stregt voksede fuktio ka vi erstatte L y med l y i (3.3). Figur 3.1 viser likelihoodfuktioe og log-likelihoodfuktioe for de i observatioer af kobbertrådsvægte (eksempel 3.1, side 31). L(µ) 0e+00 2e+12 4e+12 6e+12 8e µ l(µ) µ Figur 3.1: Likelihoodfuktioe (til vestre) og log-likelihoodfuktioe (til højre) for data fra eksempel 3.1. De stiplede liie svarer til geemsittet ȳ = g. Sætig 3.3. For de statistiske model fra defiitio 3.2 er maksimum likelihood estimatet for µ etydigt bestemt og givet ved ˆµ = ȳ = 1 y i. Estimatore ˆµ = Ȳ er ormalfordelt med middelværdi µ og varias σ 2 0 /. Bevis Hvis vi differetierer log-likelihoodfuktioe med hesy til µ får vi l y(µ) = 1 σ 2 0 l y (µ) = σ 2 0 (y i µ) < 0. Vi ser at l y(µ) = 0 hvis og ku hvis y i = µ, altså hvis og ku hvis µ = 1 y i = ȳ, så ȳ er det eeste statioære pukt for l y. Desude er l y (ȳ) < 0 så l y

35 3.2 Maksimum likelihood estimatio 35 har maksimum i ȳ som øsket. Fordeligsresultatet om Ȳ = 1 Y i følger direkte af MS, sætig Estimatet for middelværdie er altså blot geemsittet af observatioere. Det ka æppe siges at være ret overraskede. Estimatet ȳ er et tal, mes estimatore Ȳ er e stokastisk variabel. Estimatet er e realisatio af estimatore. Bemærk at vi ofte bruger samme otatio, emlig ˆµ, for begge dele. Hvis vi øsker at fremhæve at de er fuktioer af y 1,...,y heholdsvis Y 1,...,Y, ka vi skrive ˆµ = ˆµ(y 1,...,y ) = ȳ for estimatet og ˆµ = ˆµ(Y 1,...,Y ) = Ȳ for estimatore. Maksimum likelihood estimatore Ȳ er e stokastisk variabel, og som agivet i sætige har vi Ȳ N(µ,σ0 2 /). Specielt har vi altså E( ˆµ) = µ, Var( ˆµ) = σ 2 0, SD( ˆµ) = σ 0 (3.4) hvor vi bruger otatioe SD for spredig (stadard deviatio). Bemærk specielt at ˆµ = Ȳ er e cetral estimator for µ fordi middelværdie er de sade værdi. Fordelige af ˆµ = Ȳ udtrykker de usikkerhed der er forbudet med estimatet. For at forstå hvad det betyder, ka det være hesigtsmæssigt at forestille sig forsøget getaget mage gage (for eksempel målig af i stykker kobbertråd). For hver dataidsamlig får vi et yt geemsit ȳ, og tæthede for N(µ,σ0 2 /) fortæller os hvilke geemsit der er sadsylige at observere. Specielt udtrykker (3.4) at vi i geemsit over mage dataidsamliger vil få de sade værdi, og at flere observatioer i stikprøve giver aledig til større præcisio. Dette er illustreret i Figur 3.2 hvor tæthede for Ȳ s fordelig er teget for µ = og σ0 2 = Atallet af observatioer er = 9 for de fuldt optruke kurve og = 25 for de stiplede kurve. Værdier lagt fra er tydeligvis midre sadsylige år = 25 sammeliget med år = 9. Fordelige af ˆµ = Ȳ er N(µ,σ0 2 /), me husk at middelværdie µ er ukedt, uaset at vi har et estimat for de. Vi taler sommetider om fordelige som de sade eller de teoretiske fordelig. Eksempel 3.4. (Kobbertråd, fortsættelse af eksempel 3.1, side 31) Geemsittet for de i observerede vægte af kobbertrådsstykker er ȳ = , så ˆµ = Dette er e realisatio af Ȳ hvis teoretiske eller sade fordelig er N(µ, /9). Specielt er spredige i lig fordelige SD( ˆµ) = Vi fadt maksimum likelihood estimatet ved at maksimere likelihoodfuktioe. Fra

36 36 E stikprøve med kedt varias Tæthed for Y y Figur 3.2: Tæthede for N(18.441, /) for = 9 (fuldt optrukket) og = 25 (stiplet). udtrykket (3.2) for likelihoodfuktioe ka vi se at dette er ækvivalet med at miimere (y i µ) 2. Derfor er ˆµ = ȳ de værdi der gør summe af de kvadrerede afstade fra observatioere til middelværdie midst mulig. Vi taler om midste kvadraters metode eller least squares method, og i dette tilfælde giver midste kvadraters metode og maksimum likelihood estimatio det samme estimat. 3.3 Kofidesiterval for middelværdie Hvis vi getog dataidsamlige ville vi få ogle adre observatioer og dermed e ade værdi af ȳ, så hvor meget ka vi stole på vores estimat? Fordelige af ˆµ = Ȳ beskriver etop dee usikkerhed, me ma opsummerer ofte usikkerhede i et kofidesiterval. Et 1 α kofidesiterval for µ er et iterval (L(Y ),U(Y )) som ideholder de sade værdi med sadsylighed midst 1 α: ( P µ ( L(Y ),U(Y ) )) 1 α.

37 3.3 Kofidesiterval for middelværdie 37 I de modeller vi skal se på, ka vi edda opå lighedsteg i stedet for ulighedsteg. Ma bruger ofte 95% kofidesitervaller svarede til α = 0.05, me 90% og 99% kofidesitervaller rapporteres også af og til. Bogstavere L og U står for lower og upper, og med otatioe L(Y ) og U(Y ) uderstreger vi at edepuktere i kofidesitervallet er stokastiske variable, afledt af Y = (Y 1,...,Y ). For e give observatio idsætter vi y og får det observerede kofidesiterval ( L(y),U(y) ). Spørgsmålet er hvorda vi skal vælge itervaledepuktere L(Y ) og U(Y ). Husk at Ȳ N(µ,σ 2 0 /) således at Ȳ µ σ 0 / N(0,1). Lad z 1 α/2 betege 1 α/2 fraktile i N(0,1). Der er sadsylighedsmasse α/2 til vestre for z 1 α/2 og sadsylighedsmasse α/2 til højre for z 1 α/2, så ( 1 α = P z 1 α/2 < Ȳ µ ) σ 0 / < z 1 α/2 ( σ 0 σ = P µ z 1 α/2 0 < Ȳ < µ + z 1 α/2 ). Hvis vi omrokerer leddee så de sade værdi µ optræder i midte, får vi i stedet ( ) σ 0 σ P Ȳ z 1 α/2 0 < µ < Ȳ + z 1 α/2 = 1 α. (3.5) Dette svarer til at vælge L(Y ) = Ȳ z 1 α/2 σ 0 ; U(Y ) = Ȳ + z 1 α/2 σ 0. Vi har således vist følgede sætig. Sætig 3.5. Betragt de statistiske model fra defiitio 3.2. Så er ( ) σ 0 σ Ȳ ± z 1 α/2 0 σ = Ȳ z 1 α/2 0, Ȳ + z 1 α/2 (3.6) et 1 α kofidesiterval for µ. Husk fra (3.4) at spredige for ˆµ = Ȳ er σ 0 /. Således har kofidesitervallet forme ˆµ ± fraktil spredig for ˆµ. (3.7)

38 38 E stikprøve med kedt varias Specielt er kofidesitervallet symmetrisk om ˆµ. Dette syes at være mest aturligt, me ma ka godt kostruere kofidesitervaller ude symmetriegeskabe. For et datasæt beståede af observatioere y 1,...,y erstattes de stokastiske variabel Ȳ af det observerede geemsit ȳ. For eksempel bereges 95% kofidesitervallet som ȳ ± 1.96 σ 0 (3.8) da z /2 er lig 97.5% fraktile i N(0,1), dvs Eksempel 3.6. (Kobbertråd, fortsættelse af eksempel 3.1, side 31) Husk estimatere ȳ = og σ0 2 = Vi bereger således et 95% kofidesiterval for µ til ± 1.96 = ± = ( , ). 9 Bemærk at kofidesitervallet ikke ideholder værdie som var de øskede geemsitsvægt af kobbertrådee i produktioe. Det er emt at få fortolkige af kofidesitervaller galt i halse. Som vi ka se af (3.5), er edepuktere i itervallet stokastiske variable, og (3.5) er et udsag om itervallet sarere ed om µ. Det forstås ok bedst ved at tæke på getagelser af eksperimetet: Hvis vi forestiller os at dataidsamlige getages mage gage (med samme µ og samme σ0 2 ) og at itervallet bereges for hvert yt datasæt, så vil omtret adele 1 α af disse itervaller ideholde de sade værdi af µ. Dette er illustreret i figur 3.3 for µ = 0 og forskellige kombiatioer af, σ 2 0 og 1 α. For at lave figure til vestre har vi simuleret 50 datasæt, hver beståede af = 10 uafhægige observatioer fra N(0,1). Når vi simulerer data beder vi computere trække dem tilfældigt fra e give fordelig. For hver af de 50 datasæt har vi bereget 95% kofidesitervallet (3.8) og teget det som e vadret streg i figure. De lodrette streg viser de sade værdi, µ = 0. Vi ka se at ul ligger i alle kofidesitervallere på ær tre. Dette svarer ogelude til 95%. Kofidesitervallet afhæger af variase σ0 2, atallet af observatioer og grade af kofides, 1 α. Det ses emt fra (3.6) hvad der sker hvis vi varierer på disse størrelser: Hvis vokser bliver kofidesitervallet smallere. Dette giver god meig: jo flere observatioer, jo mere præcist er estimatet bestemt, og et smallere iterval giver os samme grad af kofides. Dette er illustreret i plot 2 fra vestre i

39 3.3 Kofidesiterval for middelværdie 39 95%, =10, σ 0 2 =1 95%, =40, σ 0 2 =1 95%, =10, σ 0 2 =2 75%, =10, σ 0 2 = µ µ µ µ Figur 3.3: Kofidesitervaller for simulerede datasæt for forskellige værdier af, σ0 2 og 1 α. figur 3.3 hvor = 40, mes σ0 2 og 1 α er som i plottet yderst til vestre. Itervallere til højre er som vetet smallere ed til vestre. Hvis σ0 2 vokser bliver kofidesitervallet bredere. Dette giver også god meig: stor variatio på de ekelte observatioer giver stor variatio på geemsittet og dermed et midre præcist estimat, således at et bredere iterval er ødvedigt for at fastholde grade af kofides. Dette er illustreret i plot 3 fra vestre i figur 3.3 hvor σ0 2 = 2 mes og 1 α er uædret i forhold til plottet lægst til vestre. Kofidesitervallere er tydeligvis blevet bredere. Hvis vi øsker et større 1 α (dvs. et midre α) så vokser fraktile z 1 α/2 og kofidesitervallet bliver bredere: e høj grad af kofides kræver et bredt iterval. Dette illustreres ved sammeligig af vestre og højre plot i figur 3.3 hvor kofidesgrade er heholdsvis 95% og 75%. Kofidesitervallere er bredest til vestre. For α = 0.25, svarede til kofidesgrad 75%, skal vi bruge 87.5% fraktile i N(0,1), som er 1.15, og de sade værdi er ideholdt i 41 af de 50 kofidesitervaller (82%) til højre. Hvis vi foretog øvelse med et større atal getagelser ville vi komme tættere på 75%. Set fra et praktisk syspukt er takegage omkrig getagelser problematisk: vi har jo ku et ekelt datasæt til rådighed og ka ku berege et ekelt kofidesiterval.

40 40 E stikprøve med kedt varias Ete ligger µ i itervallet eller også ligger µ ikke i itervallet, me vi ved det ikke. Alligevel ka vi bruge kofidesitervallet som idikatio af hvilke værdier af µ der med rimelighed ka atages at være sade. Hvis de sade middelværdi er µ 0 og α = 0.05, så gælder: sadsylighede for at observere data y som opfylder at µ 0 ligger i det tilhørede kofidesiterval er 95% sadsylighede for at observere data y som opfylder at µ 0 ikke ligger i det tilhørede kofidesiterval er 5% Hvis de sade værdi er µ 0 er det altså ret usædvaligt at observere et kofidesiterval der ikke ideholder µ 0. I eksempel 3.6 (side 38) kostaterede vi at værdie ikke var ideholdt i 95% kofidesitervallet. Hvis de sade middelværdi faktisk er , er de observerede data altså temmelig usædvalige. Vi skal bygge videre på dee takegag i æste afsit om hypotesetest. For at kostruere kofidesitervallet beyttede vi (3.5). Formle giver os e egeskab ved fordelige af Ȳ, emlig et iterval som Ȳ rammer med sadsylighed 95%. Dette er bare ét aspekt af Ȳ s fordelig. Sagt på e ade måde: kofidesitervallet opsummerer ku visse aspekter af de usikkerhed der er forbudet med estimatet selve fordelige ideholder mere iformatio. Alligevel beyttes kofidesitervallet ofte til at opsummere usikkerhede fordi det er simplere ed e beskrivelse af hele fordelige, samtidig med at det i ret høj grad giver os de relevate iformatio. Blot skal vi huske at tæke os grudigt om år vi fortolker kofidesitervallet. 3.4 Test af hypotese om middelværdie Sommetider er ma iteresseret i at udersøge om middelværdie i fordelige af Y ere med rimelighed ka atages at have e bestemt værdi måske er det edda derfor ma har idsamlet data. Vi betragter et fast tal, µ 0 Θ = R og tester hypotese om at middelværdie af Y 1,...,Y etop er µ 0. Løst sagt betyder det at vi udersøger om data er i modstrid med hypotese eller ej, dvs. om data med rimelighed ka tækes at være fremkommet hvis hypotese er sad. Som regel beteger vi hypotese H og skriver H : µ = µ 0. (3.9) Eksempel 3.7. (Kobbertråd, fortsættelse af eksempel 3.1, side 31) Ma øsker at de geemsitlige vægt af kobbertråde i produktioe er g. For at udersøge

41 3.4 Test af hypotese om middelværdie 41 om dette ka atages at være tilfældet har ma udtaget stikprøve beståede af de i kobbertråde. De relevate hypotese er således H : µ = , og spørgsmålet er om stikprøve tyder på at populatiosgeemsittet afviger fra g. Mere geerelt defieres e hypotese ved at lægge restriktioer på parametere (eller parametree), og kræve at de ligger i e delmægde Θ 0 af de opridelige parametermægde Θ. Således ka vi skrive H : µ Θ 0. Hypotese (3.9) svarer til at vælge Θ 0 = {µ 0 }, og vi siger at hypotese er simpel fordi parametermægde uder hypotese ku ideholder et ekelt pukt. I dette kapitel vil vi ku betragte de simple hypotese (3.9). Hypotesetest hadler om at afgøre hvorvidt de afvigelse fra hypotese som data udviser, er et udtryk for at hypotese faktisk er falsk eller om de lige så godt ka skyldes tilfældig variatio. Idee er at spørge: Hvis hypotese er sad, hvor sadsyligt er det så at observere de data som vi faktisk observerede, eller ogle der passer edu dårligere med hypotese? Dette skal selvfølgelig præciseres ærmere: hvad betyder det at ogle data passer dårligere med hypotese ed adre? I vores situatio med e ekelt stikprøve er svaret ituitivt ret klart: data passer godt med hypotese hvis ȳ ligger tæt på µ 0, så vi ka måle hvor godt hypotese passer til data ved hjælp af afstade ȳ µ 0. Det er da også præcis det vi vil gøre, me vi vil gå e lille omvej og itroducere et geerelt testpricip, emlig kvotiettestet eller, på egelsk, likelihood ratio testet. Likelihoodfuktioe L y (µ) udtrykker hvor sadsyligt det er at observere y år middelværdie er µ. Specielt er L y (µ 0 ) et udtryk for hvor sadsyligt det er at observere y uder hypotese (3.9), og L y ( ˆµ) er et udtryk for hvor sadsyligt det er at observere y i modelle ude de ekstra restriktio givet ved hypotese. Således giver det meig at fortolke kvotietteststørrelse (egelsk: the likelihood ratio test statistic) Q(y) = L y(µ 0 ) L y ( ˆµ) som mål for hvor meget dårligere hypotese µ = µ 0 passer til data ed de opridelige model µ Θ. Estimatet ˆµ R er valgt så L y er størst mulig, specielt gælder L y ( ˆµ) L y (µ 0 ). Således er Q(y) (0,1]. Store og små værdier af Q(y) fortolkes på følgede måde: Hvis Q(y) er lille (tæt på ul) er det lagt midre sadsyligt at observere y uder hypotese ed i de opridelige model. Dette tyder på at hypotese er falsk, og vi siger at små værdier af Q er kritiske for hypotese.

42 42 E stikprøve med kedt varias Hvis Q(y) er stor (tæt på e) er det æste lige så sadsyligt at observere y uder hypotese som i de opridelige model. Dette tyder på at hypotese er sad i hvert fald tyder det ikke på at hypotese er falsk. Vi ka med adre ord bruge Q(y) til at måle hvor godt hypotese passer til data, selvom det stadig er uklart hvad lille og stor betyder i oveståede udsag. Det kommer vi tilbage til om lidt. I Sætig 3.8 edefor viser vi at ( Q(y) = exp 1 2σ0 2 (ȳ µ 0 ) ). 2 Fortolkigere ovefor ka derfor oversættes til følgede: hvis ȳ og µ 0 ligger lagt fra hiade, så tyder det på at hypotese er falsk, mes det tyder på at hypotese er sad hvis ȳ og µ 0 ligger tæt på hiade. Det giver jo god meig! Værdie Q(y) er e realisatio af de stokastiske variabel Q(Y ) = L ( Y (µ 0 ) L Y ( ˆµ) = exp 1 2σ0 2 (Ȳ µ 0 ) ), 2 (3.10) som er e trasformatio af de opridelige stokastiske variable Y 1,...,Y. p-værdie eller testsadsylighede for hypotese H : µ = µ 0 defieres som sadsylighede for givet at hypotese er sad at observere e værdi af Q(Y ) der passer lige så dårligt eller dårligere med hypotese ed værdie Q(y) som vi faktisk observerede: ε(y) = P ( Q(Y ) Q(y) ). For at berege p-værdie har vi brug for at kede fordelige af Q(Y ) uder hypotese. Eftersom vi keder fordelige af Ȳ, kue vi i pricippet fide tæthede af Q(Y ) ved hjælp af trasformatiossætige (MS, sætig 4.4.1), me vi ka gøre livet lidt emmere for os selv. Ved at kaste et blik på udtrykket (3.10) bliver det klart at det er hesigtsmæssigt at betragte U = Ȳ µ 0 σ 0 / ; u = ȳ µ 0 σ 0 /. Her er u e observeret værdi og Q(y) = exp( 1 2 u2 ), mes U er e stokstisk variabel og Q(Y ) = exp( 1 2 U 2 ). Da fuktioe der fører u over i Q(y) (eller U over i Q(Y )) er aftagede, får vi ε(y) = P ( U 2 u 2) = P ( U u ). Det er således ok at kede fordelige af U uder hypotese. Her er vi på sikker grud: uder hypotese er Ȳ N(µ 0,σ0 2/) så U N(0,1) og U 2 χ1 2 (MS, defiitio 6.1.1). Vi siger at vi udfører testet på u eller at vi udfører et u-test. Lad os samle resultatere i e sætig og vise de formelt.

43 3.4 Test af hypotese om middelværdie 43 Sætig 3.8. Betragt de statistiske model givet i defiitio 3.2 og hypotese H : µ = µ 0 for et fast µ 0 R. Kvotietteststørrelse er givet ved ( Q(y) = exp 1 2σ0 2 (ȳ µ 0 ) ), 2 og vi ka udføre testet på u = ȳ µ 0 σ 0 /. p-værdie er givet ved ε(y) = 2(1 Φ( u )) hvor Φ er fordeligsfuktioe for stadardormalfordelige, N(0,1). Bevis Hvis vi idsætter µ 0 og ˆµ = ȳ i (3.1) og bemærker at ormerigskostate forkorter ud, så får vi ( ) Q(y) = L y(µ 0 ) exp 1 L y ( ˆµ) = 2σ 0 2 (y i µ 0 ) 2 ( ) exp 1 2σ 0 2 (y i ȳ) 2 = exp ( 1 2σ 2 0 ( = exp 1 ) 2σ0 2 (ȳ µ 0 ) 2 ( (yi µ 0 ) 2 (y i ȳ) 2)) hvor sidste lighedsteg følger ved at bruge formle for kvadratet på e toleddet størrelse: ( (yi µ 0 ) 2 (y i ȳ) 2) = = p-værdie er ε(y) = P ( Q(Y ) Q(y) ) ( = P hvor U N(0, 1). Således får vi (y 2 i + µ 2 0 2µ 0 y i y 2 i ȳ 2 + 2ȳy i ) (µ 2 0 2µ 0 y i ȳ 2 + 2ȳy i ) = µ 2 0 2µ 0 ȳ ȳ 2 + 2ȳ 2 = (ȳ µ 0 ) 2. σ 2 0 (Ȳ µ 0 ) 2 ) σ0 2 (ȳ µ 0 ) 2 = P(U 2 u 2 ) ε(y) = 2P(U u ) = 2 ( 1 P(U u ) ) = 2 ( 1 Φ( u ) ),

44 44 E stikprøve med kedt varias og vi har vist det øskede. Bemærk at U 2 χ 2 1 så vi ka også berege p-værdie som e sadsylighed i χ2 1 - fordelige: ε(y) = P(U 2 u 2 ) = 1 F χ 2 1 (u 2 ), hvor F χ 2 er fordeligsfuktioe for χ fordelige. p-værdie er illustreret i figur 3.4 som arealet af de grå områder. De vestre del af figure viser tæthede for N(0,1) samme med e fiktiv værdi af u og u. De højre del af figure viser tæthede for χ1 2-fordelige samme med de fiktive værdi af u2. Det samlede areal af de to grå områder i vestre del af figure er det samme som arealet af det grå område i højre del emlig ε(y) selvom det på grud af skalerig af figurere er svært at se. Tæthed for N(0,1) u u 2 Tæthed for χ u 2 Figur 3.4: Tæthede for N(0,1) til vestre samme med værdier af ± u (til vestre) og tæthede for χ 2 1 samme med u2 (til højre). De grå områder har areal lig ε(y). Vi magler stadig at afgøre hvorvidt hypotese skal afvises eller ej. p-værdie ε(y) måler hvor sadsyligt det er hvis hypotese er sad at få data der passer lige så dårligt eller dårligere med hypotese ed de observerede data y, målt ved Q(y) eller u. Små værdier er kritiske: e lille værdi af ε(y) tyder på at hypotese er falsk mes store værdier tyder på at hypotese er sad. Me hvad skal vi mee med stor og lille? Ide aalyse vælges et sigifikasiveau α. Det betyder at vi vælger at forkaste eller afvise hypotese hvis ε(y) α. Vi siger at µ er sigifikat forskellig fra µ 0 på iveau α. Hvis ε(y) > α så ka vi ikke afvise hypotese. Med adre ord: hypotese afvises hvis u z 1 α/2 hvor z 1 α/2 er 1 α/2 fraktile i N(0,1), dvs. hvis ȳ µ 0 z 1 α/2 σ 0 /. Dette giver god meig: vi afviser hypotese hvis ȳ afviger meget fra µ 0.

45 3.4 Test af hypotese om middelværdie 45 Ofte vælges α = 0.05, me der er ige dybere meig med de værdi. Ma ka også vælge for eksempel 1% eller 10%, me ma skal have besluttet sig ide ma udfører testet. Eksempel 3.9. (Kobbertråd, fortsættelse af eksempel 3.1, side 31) Vi har = 9, ȳ = og σ0 2 = og får derfor 9( ) u = = Ved opslag i ormalfordelige får vi Φ(2.52) = så ε(y) = 2 ( ) = Alterativt kue vi slå p-værdie op i χ 2 1 -fordelige og få ε(y) = 1 F χ 2 1 (6.35) = Da p-værdie er midre ed 5% afviser vi hypotese. Data tyder således på at de geemsitlige vægt af kobbertråde i produktioe afviger fra det øskede. Beregige af p-værdie er illustreret i vestre del af figur 3.5. Det grå område har areal ε(y) = Vi ka også skrive ε(y) som sadsylighede for at afstade mellem Ȳ og µ 0 = er større ed de observerede afstad: ε(y) = P( Ȳ µ 0 ȳ µ 0 ) hvor Ȳ N(µ 0,σ0 2 /). Dette er illustreret i de højre del af figure. Tæthed for N(0,1) u 2 Tæthed for N(µ 0,σ 0 ) y Figur 3.5: Tæthede for stadardormalfordelige, N(0, 1), til vestre. Tæthede for N(18.441, /9) til højre.

46 46 E stikprøve med kedt varias Nu følger ogle vigtige kommetarer omkrig sprogbruge vedrørede koklusioe på et hypotesetest, sammehæge mellem kofidesitervaller og hypotesetest, og forskellige fejltyper: Afvisig og accept Med et hypotesetest ka vi stregt taget ku afvise hypoteser, ikke acceptere hypoteser. Fortolkige af e lille p-værdi er at det er usadsyligt at have observeret y (eller oget edu værre) hvis hypotese er sad, og de er derfor formetlig falsk. Fortolkige af e stor p-værdi er at det er sadsyligt at observere y (eller oget edu værre) hvis hypotese er sad, me derfor behøver hypotese jo ikke være sad. Der ka være mage hypoteser der gør de observerede værdier sadsylige. Hvis ma er meget øjeregede, bruger ma derfor som regel e formulerig som hypotese ka ikke afvises sarere ed hypotese ka accepteres. Agivelse af p-værdi Ma bør altid agive de observerede p-værdi i stedet for blot at agive hvorvidt hypotese ka afvises eller ej: E meget lille p-værdi (for eksempel 0.001) er udtryk for e kraftigere evides mod hypotese ed e p- værdi tæt på α (for eksempel 0.04), og to tætte p-værdier på hver si side af α (for eksempel 0.04 og 0.06) er udtryk for cirka samme grad af modstrid med hypotese. Kofidesiterval og hypotesetest Det er ikke oge tilfældighed at vi har beyttet otatioe α om sigifikasiveauet og 1 α om kofidesgrade i et kofidesiterval. Tværtimod er der e tæt sammehæg mellem kofidesitervaller og hypotesetest: 1 α kofidesitervallet for µ består etop af de værdier µ 0 for hvilke hypotese H : µ = µ 0 ikke ka afvises på sigifikasiveau α. Dette vigtige resultat er vist i sætig 3.10 edefor. Type I og type II fejl Hypotesetest er baseret på sadsyligheder, og koklusioe på testet ka være forkert. Vi siger at ma begår fejl af type I hvis ma afviser e sad hypotese. Sigifikasiveauet fastsætter sadsylighede for dee type fejl. Atag ige at vi getager eksperimetet/dataidsamlige mage gage og for hvert datasæt udfører hypotesetestet som beskrevet. Hvis hypotese er sad vil vi for adele α af datasættee afvise hypotese. Hvis ma ikke afviser (dvs. accepterer) e falsk hypotese siger vi at ma har begået e fejl af type II. Vi har ikke styr på fejlrate af type II fejl på samme måde som for type I fejl, me der er selvfølgelig e sammehæg: hvis vi sæker sigifikasiveauet fra 5% til 1%, for eksempel, så gør vi det sværere at afvise hypotese. Derfor falder sadsylighede for type I fejl, til gegæld

47 3.4 Test af hypotese om middelværdie 47 vokser sadsylighede for type II fejl. Valget af sigifikasiveau repræseterer altså e afvejig af de to fejltyper, og ved fastsættelse af α skal ma således overveje hvilke type af fejl ma helst vil sikre sig mod. Dette ka være forskelligt fra avedelse til avedelse. Bemærk at sadsylighede for at begå type I fejl er fastlagt ved sigifikasiveauet og derfor ikke afhæger af, mes sadsylighede for fejl af type II falder år vokser. Som lovet viser vi u sammehæge mellem kofidesiterval og hypotesetest. Sætig Betragt de statistiske model fra defiitio 3.2 og kofidesitervallet ( ) σ 0 σ C 1 α (y) = ȳ ± z 1 α/2 0 σ = ȳ z 1 α/2 0,ȳ + z 1 α/2 for µ med kofidesgrad 1 α bereget ved hjælp af observatioe y. Så er C 1 α (y) = {µ 0 R ε(y) > α for hypotese H : µ = µ 0 }. Bevis Vi bruger defiitioe af C 1 α (y) og rykker rudt på leddee: µ 0 C 1 α (y) ȳ z 1 α/2 σ 0 < µ 0 < ȳ + z 1 α/2 σ 0 z 1 α/2 < ȳ µ 0 σ 0 / < z 1 α/2 z 1 α/2 < u < z 1 α/2. Dette er esbetydede med at P( U u ) > α hvor U N(0,1), og det følger af Sætig 3.8 at dette er esbetydede med at ε(y) > α hvor ε(y) er p-værdie for hypotese µ = µ 0. Eksempel (Kobbertråd, fortsættelse af eksempel 3.1, side 31) Vi beregede i eksempel 3.6 (side 38) et 95% kofidesiterval for µ og kostaterede at værdie ikke er ikluderet. I eksempel 3.9 (side 45) testede vi H : µ = og afviste de på 5%-iveau. De to koklusioer er kosistete. Eksempel (Læsetest) Atag at skalae for e atioal læsetest er kostrueret således at resultatere er ormalfordelte med middelværdi 100 og spredig 12, dvs. varias 144. På e bestemt skole blev 55 elever testet og opåede i geemsit e score på 97 poit. Spørgsmålet er om dette resultat er udtryk for at skoles elever er dårligere ed ladsgeemsittet eller om det lige så godt ka skyldes tilfældig variatio.

48 48 E stikprøve med kedt varias Vi atager at de 55 elevers scorer, y 1,...,y 55 er realisatioer af uafhægige stokastiske variable Y 1,...,Y 55 der alle er ormalfordelte med middelværdi µ og varias σ0 2 = 144. Det observerede geemsit er ȳ = 97. Estimatet og estimator for µ er således givet ved ˆµ = ȳ = 97, Ȳ N(µ,σ0 2 /55). Vi bereger et 95% kofidesiterval til 97 ± = 97 ± 3.2 = (93.8,100.2) som lige etop ideholder værdie 100. De relevate hypotese er µ = 100 og giver aledig til u = / 55 = 1.85, ε(y) = 2 (1 Φ(1.85) ) = Hypotese ka således ikke afvises på 5% sigifikasiveau, me både kofidesiterval og test idikerer at data er svagt usædvalige hvis skoles elever læser lige så godt som ladsgeemsittet. 3.5 Sammefatig og perspektiv Vi har i dette kapitel diskuteret statistisk aalyse af ormalfordelte data med kedt varias. Modelle er ikke særligt avedelig i praksis fordi det ku sjældet er rimeligt at atage at variase er kedt på forhåd. Det vigtige i kapitlet er først og fremmest itroduktioe og diskussioe af de vigtige statistiske begreber. Lad os opsummere: Statistisk model E statistisk model beskriver vores atagelser om frembrigelse af data. I modelle idgår e eller flere parametre som skal estimeres ved hjælp af data. Maksimum likelihood estimatio Som estimator bruger vi de værdi af parametere der gør de observerede data mest sadsylige, målt med de simultae tæthed. Dette formaliseres med likelihoodfuktioe, dvs. tæthede opfattet som fuktio af parametere (eller parametree). Vi skeler mellem estimatet som er et tal og estimatore som er e stokastisk variabel. Estimatet er e realisatio af estimatore, og fordelige af estimatore beskriver usikkerhede på estimatet.

49 3.6 R 49 Kofidesiterval Fordelige af estimatore ka opsummeres af et kofidesiterval med kofidesgrad der er specificeret på forhåd. Kofidesitervallet er et iterval omkrig estimatore, og kofidesgrade er sadsylighede for at itervallet ideholder de sade værdi. Ma skal være varsom med fortolkige. Hypotesetest Kvotiettestet hører aturligt samme med maksimum likelihood estimatio. Testet består af flere igredieser: opstillig af e hypotese, beregig af kvotietteststørrelse der ved hjælp af likelihoodfuktioe måler hvor godt modelle passer til data, beregig af p-værdi og koklusio. p-værdie er sadsylighede for at få e kvotietteststørrelse der er midre ed eller lig de observerede værdi, bereget uder atagelse af at hypotese er sad. For at berege p-værdie skal vi kede fordelige af kvotietteststørrelse uder hypotese, eller i det midste fordelige af e trasformatio af kvotietteststørrelse. Hypotese afvises hvis p-værdie er midre ed eller lig det på forhåd fastsatte sigifikasiveau. I de følgede kapitler skal vi diskutere de statistiske aalyse af adre typer data, me aalyse består af de samme tri som ovefor. Det er derfor vigtigt at forstå meige med og betydige af begrebere. Der magler e vigtig brik i liste ovefor: modelkotrol. Hvorda kotrollerer ma at atagelsere i modelle er rimelige, specielt om det er rimeligt at atage at data er ormalfordelte? Vi veder tilbage til dette spørgsmål i afsit R I tilfældet med kedt varias er der ige emme geveje i R, me ma ka emt berege alle de værdier ma har brug for til aalyse, og bruge dem til at lave kofidesitervaller, udføre hypotesetest osv. Geemittet ȳ bereges med fuktioe mea. Fraktiler og sadsyligheder i N(0,1) bereges med qorm og porm q for quatile og p for probability. For kobberdata fra eksempel 3.1 får vi for eksempel følgede: > vgt <- c(18.459, [Flere tal her], ) # Idlæsig > ybar <- mea(vgt) # Geemsit > ybar

50 50 E stikprøve med kedt varias [1] > se <- sqrt( /9) # Spredig på estimator > se [1] > ybar * se # Nedre græse i 95% KI [1] > ybar * se # Øvre græse i 95% KI [1] > u <- (ybar ) / se # Teststørrelse > u [1] > porm(2.519) # P(U <= 2.519) hvis U N(0,1) [1] > > 2*(1-porm(u)) # p-værdie [1] Check selv at tallee stemmer overes med tallee fra eksempel 3.4 (side 35), 3.6 (side 38) og 3.9 (side 45). Ovefor har vi gemt de værdier der skal bruges seere, for eksempel geemsittet og spredige på estimatore, i variable, som vi bruger i de seere beregiger. Det er aturligvis ikke ødvedigt ma ka for eksempel sagtes berege teststørrelse med e ekelt kommado: > (mea(vgt) ) / sqrt( ) * sqrt(9) [1] Det er e smagssag om ma foretrækker det ee eller det adet. Vi brugte ovefor at 97.5% fraktile i N(0,1) er Hvis vi vil berege kofidesitervaller med e ade kofidesgrad har vi brug for adre fraktiler. Til et 90% kofidesiterval skal vi bruge 95% fraktile, og kofidesitervallet ka bereges som følger: > qorm(0.95) # 95%-fraktil i N(0,1)

51 3.7 Opgaver 51 [1] > ybar * se # Nedre græse i 90% KI [1] > ybar * se # Øvre græse i 90% KI [1] Som det fremgår bereger porm værdier af fordeligsfuktioe for N(0, 1). Hvis ma i stedet har brug for sadsyligheder i ormalfordelige med e ade middelværdi og/eller varias, skal middelværdie og spredige (ikke variase!) agives som argumeter til porm. For eksempel er P(Y 0)) = hvis Y N(4,5): > porm(0, mea=4, sd=sqrt(5)) # P(Y<=0), Y N(4,5) [1] eller blot > porm(0, 4, sqrt(5)) # P(Y<=0), Y N(4,5) [1] På tilsvarede måde ka qorm bruges til beregig af fraktiler i ormalfordeliger med vilkårlig middelværdi og varias. Der fides to fuktioer mere der er relateret til ormalfordelige: dorm der bereger tætheder og rorm der simulerer udfald: > dorm(1, mea=2, sd=0.5) # Tæthed i 1 for N(2,0.25) [1] > rorm(4, mea=2, sd=0.5) # 4 udfald fra N(2,0.25) [1] Vi ser at tæthede for N(2,0.25) evalueret i puktet 1 er , mes de sidste kommado har simuleret 4 observatioer fra N(2,0.25). 3.7 Opgaver 3.1 Det atages sædvaligvis at kropstemperature hos raske meesker er ormalfordelt med middelværdi 37 C og spredig 0.4 C. I et medicisk studie blev kropstemperature målt for 130 raske persoer. Geemsittet af de 130 temperaturmåliger var

52 52 E stikprøve med kedt varias 1. Udersøg om data bekræfter eller afkræfter hypotese om at de geemsitlige kropstemperatur for raske meesker er 37 C. 2. Bereg et 95% kofidesiterval for kropstemperature for raske meesker. Bereg også et 90% kofidesiterval. 3.2 E løber er iteresseret i at udersøge om hedes løbeur er kalibreret korrekt. Hu udmåler derfor e strækig på præcis 1000 m og løber de 16 gage. For hver løbetur oterer hu de distace som løbeuret registrerer som løbet distace. Geemsittet af de 16 måliger er 1013 meter. Fabrikate af løbeuret siger at variatioe af løbeurets distacemåliger ka beskrives med e spredig på 30 meter for e strækig på 1000 meter. 1. Opstil e statistisk model til beskrivelse af forsøget. 2. Agiv et estimat og et 95% kofidesiterval for middelværdie af løbeurets distacemåliger. 3. Udfør et test for hypotese om at løbeuret er kalibreret korrekt. Du ka bruge at P(U 1.733) = hvis U N(0,1). Vik: Hvad er de relevate hypotese? 4. Agiv et estimat og et 95% kofidesiterval for de forvetede fejl i løbeurets distacemålig. Vik: Hvad er fejle som fuktio af middelværdie af distacemåligere? Hvad kue være et foruftigt estimat for fejle? 3.3 I eksempel 3.6 (side 38) blev 95% kofidesitervallet for geemsitsvægte af kobbertråde bereget til ( , ). Specielt har kofidesitervallet lægde Dette var baseret på e stikprøve på 9 kobbertråde. 1. Hvor stor skal stikprøve være for at lægde af kofidesitervallet bliver halvt så lagt? 2. Udled et geerelt resultat: i tilfældet med e ekelt stikprøve med kedt varias, hvor meget skal stikprøvestørrelse øges for at lægde af kofidesitervallet for middelværdie bliver halveret? Afhæger resultatet af kofidesgrade for kofidesitervallet? 3. Udled et adet geerelt resultat: i tilfældet med e ekelt stikprøve med kedt varias σ0 2, hvor stor skal stikprøve være for at kofidesitervallet for middelværdie med kofidesgrad 1 α får e lægde der er højst l?

53 3.7 Opgaver Betragt de statistiske model hvor Y 1,...,Y er uafhægige og ormalfordelte med ukedt middelværdi µ og kedt varias σ0 2. Vi skal i dee opgave iteressere os for de såkaldte styrke af testet for hypotese H : µ = 0. Overalt testes med sigifikasiveau 5%. 1. Gør rede for at hypotese forkastes hvis og ku hvis Ȳ 1.96 σ Betragt e fast me vilkårlig værdi af de sade middelværdi µ. Nedefor er sadsylighede for at hypotese H : µ = 0 forkastes, som fuktio af µ, bereget. Overbevis dig selv om at beregigere er korrekte. ( ) g(µ) = P Ȳ 1.96 σ0 ( ) = P Ȳ σ ( ) ( ) = P + P = Φ Ȳ 1.96 σ 0 ( 1.96 µ σ 0 ) + 1 Φ Ȳ 1.96 σ 0 ( 1.96 σ 0 µ hvor Φ er fordeligsfuktioe for stadardormalfordelige. ) (3.11) 3. Bereg g(0) og forklar hvad relatioe er til fejl af type I. Vik: Er hypotese sad eller falsk? 4. Atag at µ 0 og forklar hvad relatioe er mellem g(µ) og fejl af type II. Vik: Er hypotese sad eller falsk? 5. Hvad sker der med g(µ) år µ vokser? Relatér til type II fejl. 6. Betragt u g som fuktio af for fast µ. Forklar hvad der sker år vokser. Relatér til type II fejl. 7. Sæt σ 0 = 1. Teg grafe for g som fuktio af µ på itervallet ( 1.5,1.5) for = 10 og for = 25, gere i samme figur. Forklar hvad du ser. Følgede R-kode ka evt. beyttes sørg for at forstå hvad de ekelte kommadoer gør!

54 54 E stikprøve med kedt varias ## defierer fuktioe både som fuktio af mu og g = fuctio(mu,) porm(-1.96-sqrt()*mu) + 1-porm( 1.96-sqrt()*mu) ## mu-værdier og tilhørede fuktiosværdier x = seq(-1.5,1.5,0.05) y10 = g(x,10) y25 = g(x,25) ## Selve figure plot(x,y10,type="l") lies(x,y25,col=2) 8. Atag at vi gere vil være i stad til at opdage e afvigelse på 0.3 fra 0 af middelværdie med e sikkerhed på 80%. Hvor stor skal stikprøve være for at dette er opfyldt? Vik: Du skal fide så g(0.3) = 0.8. Hvorfor? Prøv dig frem, for eksempel med R-fuktioe g.

55 Kapitel 4 E stikprøve med ukedt varias I kapitel 3 betragtede vi modelle for e ekelt stikprøve med kedt varias. I eksempel 3.1 om kobbertråd gav det god meig fordi ma på fabrikke har lag erfarig med variatioe i produktioe. I lagt de fleste tilfælde har ma imidlertid ikke oge ide om størrelse af variase, og vi vil u betragte det mere realistiske tilfælde hvor både middelværdi og varias er ukedte. Tigee bliver e smule mere komplicerede fordi der er to ukedte parametre, me begrebere er de samme, så vi ka trække på vores erfarig fra det simple tilfælde. 4.1 Statistisk model Udgagspuktet for modelle er stadig uafhægige og ormalfordelte stokastiske variable Y 1,...,Y med middelværdi µ og varias σ 2. De simultae fordelig beteges N µ,σ 2 og har tæthed f µ,σ 2(y) = 1 = (2πσ 2 ) ( 1 exp 1 2πσ 2 /2 exp ( ) 2σ 2 (y i µ) 2 1 2σ 2 (y i µ) 2 ), y = (y 1,...,y ) R. (4.1) Notatioe f µ,σ 2 uderstreger at både middelværdi og varias er ukedte parametre. Vi har med adre ord e todimesioal parameter (µ,σ 2 ). Vi atager at parametermægde er Θ = R (0, ), me det kue også være e delmægde af dee mægde.

56 56 E stikprøve med ukedt varias Defiitio 4.1. Modelle for e ekelt stikprøve med ukedt varias består af udfaldsrummet R samt familie P = {N µ,σ 2 : (µ,σ 2 ) R (0, )} af fordeliger på R hvor N µ,σ 2 har tæthed (4.1). Alterativ formulerig: Lad Y 1,...,Y være uafhægige og idetisk ormalfordelte stokastiske variable, Y i N(µ,σ 2 ) hvor µ R og σ 2 > 0 er ukedte parametre. Eksempel 4.2. (Prothrombiideks) E persos prothrombiideks er e markør for leversvigt hvor et lavt ideks idikerer leversvigt. For at udersøge effekte af e behadlig fik 40 persoer målt deres prothrombiideks både før og efter behadlig. Som observatioer bruger vi forskelle mellem de to måliger således at e positiv værdi af y i idikerer e positiv effekt af behadlige. Data består altså af 40 observatioer y 1,...,y 40. Observatioere betragtes som realisatioer af Y 1,...,Y 40 som atages at være uafhægige og ormalfordelte med middelværdi µ og varias σ Maksimum likelihood estimatio Vi skal estimere (µ,σ 2 ) på basis af data, y = (y 1,...,y ). Vi defierer ige likelihoodfuktioe som tæthede, opfattet som fuktio af parametere, L y : R (0, ) R L y (µ,σ 2 1 ) = f µ,σ 2(y) = (2πσ 2 ) /2 exp ( 1 2σ 2 Et maksimum likelihood estimat for (µ,σ 2 ) R (0, ) opfylder (y i µ) 2 ). (4.2) L y ( ˆµ, ˆσ 2 ) L y (µ,σ 2 ), (µ,σ 2 ) R (0, ). (4.3) Ma ser ofte på log-likelihodfuktioe, dvs. l y (µ,σ 2 ) = logl y (µ,σ 2 ) = 2 log(2πσ 2 ) 1 2σ 2 (y i µ) 2. De vestre del af figur 4.1 viser et 3D-plot for log-likelihoodfuktioe for prothrombidata fra eksempel 4.2. Det ser ud til at log-likelihoodfuktioe og dermed likelihoodfuktioe da log er stregt voksede har et etydigt maksimum.

57 4.2 Maksimum likelihood estimatio 57 logl mu sigma^2 σ µ Figur 4.1: Log-likelihoodfuktioe for prothrombidata (eksempel 4.2). Figure til vestre er et 3D-plot, mes figure til højre viser værdierer af l y på e gråtoeskala (se side 60 for detaljer). Eksistes og etydighed af et maksimum er etop et af udsagee i sætig 4.3 edefor. Vi har brug for lidt otatio for at formulere sætige: husk kvadratafvigelsessumme SSD Y = (Y i Ȳ ) 2 fra MS, sætig 6.3.3, og idfør de tilsvarede observerede størrelse, SSD y = (y i ȳ) 2. SSD står for sum of squared deviatios, og fodteget viser om det er de stokastiske eller de observerede versio der er tale om. Sætig 4.3. For de statistiske model fra defiitio 4.1 er maksimum likelihood estimatet for (µ,σ 2 ) etydigt bestemt og givet ved ˆµ = ȳ = 1 i, ˆσ y 2 = 1 SSD y = 1 (y i ȳ) 2. Estimatorere ˆµ = Ȳ og ˆσ 2 = 1 (Y i Ȳ ) 2 = 1 SSD Y er uafhægige, og deres margiale fordeliger er Ȳ N(µ,σ 2 /), ˆσ 2 σ 2 χ2 1. Bemærk at ˆσ 2 σ 2 χ2 1 betyder at ˆσ 2 er χ 2 -fordelt med 1 frihedsgrader og skalaparameter σ 2 /. Med adre ord: ˆσ 2 er ægte χ 2 σ 2 1 -fordelt. Bevis Betragt først e fast positiv værdi af σ 2. Fuktioe µ L y (µ,σ 2 ) er idetisk med likelihoodfuktioe fra modelle med kedt varias, så det følger af sætig 3.3 at der er etydigt maksimum for µ = ȳ.

58 58 E stikprøve med ukedt varias Dette gælder for alle σ 2 > 0, dvs. L y (ȳ,σ 2 ) L y (µ,σ 2 ), µ R,σ 2 > 0. Vi betragter derfor fuktioe L y : (0, ) R defieret ved L y (σ 2 ) = L y (ȳ,σ 2 1 ) = (2πσ 2 ) ( exp /2 SSD y 2σ 2 Dee fuktio kaldes for profillikelihoodfuktioe for σ 2. Lemma 4.4 edefor avedt med x = σ 2, a = SSD y /2 og b = /2 viser at L har maksimum for σ 2 = 1 SSD y. Vi har således vist at L y (ȳ, 1 ) ( ) 1 SSD y = L y SSD y L y (σ 2 ) = L y (ȳ,σ 2 ) L y (µ,σ 2 ) ). for alle µ R og σ 2 > 0 så (ȳ, 1 SSD y) er et maksimumpukt for L y. Resultatet vedrørede fordelig af (Ȳ, ˆσ 2 ) følger direkte af MS, sætig I beviset brugte vi følgede lemma, som kommer os til ytte flere gage i de følgede kapitler: Lemma 4.4. Lad a og b være positive, reelle tal, og defier fuktioe f ved f (x) = x b e a x, x (0, ). Så har f etydigt maksimum for x = a b. Bevis Defier fuktioe g ved g(x) = log( f (x)) = blog(x) a x, x (0, ). Da log er stregt voksede har f og g maksimum samme sted, me g er emmere at rege på. Vi ser at g er to gage kotiuert differetiabel med g (x) = b x + a x 2, g (x) = b x 2 2a x 3. Specielt er g (x) = 0 hvis og ku hvis x = a b så dette er det eeste statioære pukt. Desude er g ( a b ) = b3 < 0 så der er tale om et maksimumpukt. a 2

59 4.2 Maksimum likelihood estimatio 59 Bemærk at E(Ȳ ) = µ således at Ȳ er e cetral estimator for µ. Derimod er E( ˆσ 2 ) = 1 σ 2 så ˆσ 2 er ikke e cetral estimator for σ 2. Det følger af at middelværdie i χ 2 k - fordelige er k således at E(SSD Y ) = 1. I geemsit estimeres σ 2 således for lavt hvis vi beytter maksimum likelihood estimatore. Det er imidlertid emt at korrigere ˆσ 2 og opå e cetral estimator: vi skal blot ormere med 1 i stedet for i defiitioe af ˆσ 2, og i stedet bruge σ 2 = 1 1 (Y i Ȳ ) 2 = 1 1 SSD Y som estimator. Så er E( σ 2 ) = σ 2, Ȳ og σ 2 er uafhægige, og ( 1) σ 2 σ 2 χ 1 2. Altså er σ 2 σ 2 1 χ2 1. Det tilsvarede estimat, hvor observatioere sættes id, beteges som regel s 2, dvs. s 2 = 1 1 (y i ȳ) 2, (4.4) og det er så godt som altid dette estimat vi bruger for variase. Størrelse kaldes også for de empiriske varias. For god ordes skyld samler vi resultatet vedrørede estimatere i e bemærkig: Bemærkig 4.5. I de statistiske model fra defiitio 4.1 bruger vi estimatere ˆµ = ȳ = 1 y i og s 2 = 1 1 (y i ȳ) 2. De sade eller teoretiske fordelig af (Ȳ, σ 2 ) er givet ovefor, me afhæger af de ukedte parametre. Spredige i fordelige af ˆµ er særligt vigtig fordi de giver os iformatio om præcisioe af vores estimat. Samme med selve estimatet, agiver ma derfor som regel også de estimerede spredig for estimatore. De estimerede spredig fås ved at erstatte σ med dets estimat, s, og ma bruger som regel forkortelse SE (stadard error). Vi har altså SE( ˆα) = s. Eksempel 4.6. (Prothrombiideks, fortsættelse af eksempel 4.2, side 56) For de 40 observatioer y 1,...,y 40 af forskelle i prothrombiideks før og efter behadlig viste det sig at ȳ = 16.55, SSD y =

60 60 E stikprøve med ukedt varias således at estimatere er ˆµ = 16.55, s 2 = = 394.8, s = Estimatorere Ȳ og σ 2 er uafhægige, Ȳ N(µ,σ 2 /) og σ 2 σ 2 39 χ2 39. De estimerede spredig for ˆµ er SE( ˆµ) = s/ 40 = Estimatioe er illustreret i de højre del af figur 4.1. Figure viser log-likelihoodfuktioe for prothrombidata på e gråtoeskala, hvor lyse pixels svarer til store værdier af l y og mørke pixels svarer til små værdier af l y. De lodrette liie svarer til µ = 16.55, mes de lodrette liier svarer til σ 2 = (maksimum likelihood estimatet) og σ 2 = (det cetrale estimat, s 2 ). Som beskrevet ovefor foretrækker vi s 2 selvom likelihoodfuktioe er midre. Husk i øvrigt at vi i starte af beviset for sætig 3.3 maksimerede fuktioe µ L y (µ,σ 2 ) for fast værdi af σ 2. Vi idså at dee fuktio har maksimum for µ = ȳ uaset værdie af σ 2. Det ka vi godt foremme på figure. Uaset hvilke vadrette liie vi ser på, er figure lysest for µ = Derefter maksimerede vi profillikelihoodfuktioe σ 2 L y (σ 2 ) = L y (ȳ,σ 2 ). Dette svarer til at følge de lodrette liie i figure og fide stedet hvor fuktioe er størst mulig (lysest). 4.3 Kofidesiterval for middelværdie I afsit 3.3 udledte vi kofidesitervallet Ȳ ± z 1 α/2 σ 0 (4.5) for middelværdie i tilfældet med kedt varias. Det er oplagt at erstatte de kedte varias med estimatore σ 2, me der skal tages højde for at det er e estimator i stedet for e kedt værdi. Det forøger usikkerhede og ædrer fordeligere. Derfor får vi brug for fraktiler i t-fordelige. Lad t k,1 α/2 betege 1 α/2 fraktile i t- fordelige med k frihedsgrader. Sætig 4.7. Betragt de statistiske model fra defiitio 4.1. Så er ) σ σ σ Ȳ ± t 1,1 α/2 = (Ȳ t 1,1 α/2, Ȳ +t 1,1 α/2 (4.6) et 1 α kofidesiterval for µ.

61 4.3 Kofidesiterval for middelværdie 61 Bevis Det følger fra MS, sætig at (Ȳ µ) (Ȳ µ) T = = σ SSDY /( 1) er t-fordelt med 1 frihedsgrader. Således er ( ) (Ȳ µ) P t 1,1 α/2 < < t σ 1,1 α/2 = 1 α eller, hvis vi isolerer µ i midte, ) σ σ P (Ȳ t 1,1 α/2 < µ < Ȳ +t 1,1 α/2 = 1 α. (4.7) σ Dette viser som øsket at Ȳ ± t 1,1 α/2 er et kofidesiterval for µ med kofidesgrad 1 α. Bemærk at strukture af kofidesitervallet er de samme som i tilfældet med kedt varias, bortset fra at spredige for ˆµ ikke er kedt, me skal estimeres: ˆµ ± fraktil estimeret spredig for ˆµ, sammelig med (3.7). Mere specifikt så består forskelle mellem kofidesitervallere (4.5) og (4.6) i at de kedte værdi σ 0 er erstattet med estimatore σ og at ormalfordeligsfraktile er udskiftet med e t-fordeligsfraktil. t-fordeligsfraktile er altid større ed de tilsvarede ormalfordeligsfraktil (se MS, figur 6.2.1) så kofidesitervallet er (lidt) bredere for modelle med ukedt varias sammeliget med modelle med kedt varias (for es værdier af σ 2 0 og σ 2 ). Dette giver god meig: vores uvidehed om σ 2 giver aledig til ekstra usikkerhed om estimatet på µ. Der er dog ikke stor forskel på fraktilere år ikke er alt for lille. For et datasæt beståede af observatioere y 1,...,y erstattes de stokastiske variable Ȳ og σ af de observerede størrelser ȳ og s. Hvis der for eksempel er ti observatioer bereges 95% kofidesitervallet som ȳ ± s, da 97.5% fraktile i t-fordelige med 9 frihedsgrader er Diskussioere fra afsit 3.3 vedrørede kofidesitervallet er stadig gyldige:

62 62 E stikprøve med ukedt varias Fortolkige af (4.7) er et udsag om itervallet sarere ed om parametere og forstås bedst hvis ma tæker på getagelser af dataidsamlige. Kofidesitervallet bliver smallere hvis vokser og bredere hvis 1 α stiger. Hvis de sade varias σ 2 øges, vil s 2 typisk øges og kofidesitervallet vil blive bredere. Bemærk at vi ku har kostrueret et kofidesiterval for middelværdie, µ. Ved at udytte at SSD Y er χ 2 -fordelt, ka ma også lave et kofidesiterval for variase, σ 2, me i praksis er det sjældet det ma iteresserer sig for, så det udlader vi her. Eksempel 4.8. (Prothrombiideks, fortsættelse af eksempel 4.2, side 56) Husk at = 40, ȳ = og s = Desude er 97.5% fraktile i t-fordelige med 39 frihedsgrader lig 2.023, således at ± = ± 6.35 = (10.20,22.90) er et 95% kofidesiterval for µ. Bemærk at ul ikke ligger i kofidesitervallet. Hvis µ = 0 svarede til at der ikke er e effekt af behadlige er det således ret usadsyligt at vi skulle have observeret de data vi faktisk har til rådighed. 4.4 Test af hypotese om middelværdie Ligesom i afsit 3.4 vil vi iteressere os for hypotese H : µ = µ 0 om middelværdie for e fast værdi µ 0 R. Der er ige restriktioer på variase, så vi ka også skrive hypotese som H : (µ,σ 2 ) Θ 0 = {µ 0 } (0, ) Hypotese er ikke e simpel hypotese da parametermægde uder hypotese, Θ 0, ideholder mere ed et ekelt pukt. Vi ka derfor ikke kopiere fremgagsmåde fra afsit 3.4 fuldstædigt. I stedet er plae at gøre følgede: Estimere parametere (µ,σ 2 ) uder hypotese, dvs. bestemme ( ˆµ, ˆσ 2 ) Θ 0 så L y ( ˆµ, ˆσ 2 ) L y (µ,σ 2 ), (µ,σ 2 ) Θ 0. Det er klart at ˆµ = µ 0 da det er de eeste mulige værdi, så det er ku et spørgsmål om at fide ˆσ 2.

63 4.4 Test af hypotese om middelværdie 63 Opskrive kvotietteststørrelse Q(y) = L y( ˆµ, ˆσ 2 ) L y ( ˆµ, ˆσ 2 ). Som i kapitel 3 har vi Q(y) (0,1], og Q(y) ka fortolkes som et mål for hvor sadsylige data er uder hypotese i forhold til de opridelige model. Små værdier er kritiske, dvs. passer dårligt med hypotese. Som otatioe atyder, er Q(y) er e fuktio af y = (y 1,...,y ). De tilhørede stokastiske variabel beteges Q(Y ). Bestemme p-værdie eller testsadsylighede ε(y) = P ( Q(Y ) Q(y) ), dvs. sadsylighede for at få e værdi af Q(Y ) der passer lige så dårligt som eller dårligere med hypotese ed de værdi vi har fået fra de observerede data, givet at hypotese er sad. Afvise hypotese hvis ε(y) α for et på forhåd fastsat sigifikasiveau og i givet fald kokludere at µ er sigifikat forskellig fra µ 0. Det viser sig at vi ka udføre testet som et såkaldt t-test: Sætig 4.9. Betragt de statistiske model givet i defiitio 4.1 og hypotese H : µ = µ 0 for et fast µ 0 R. Uder hypotese er maksimum likelihood estimatet ( ˆµ, ˆσ 2 ) givet ved ˆµ = µ 0, ˆσ 2 = 1 (y i µ 0 ) 2. Uder hypotese er σ 2 = (Y i µ 0 ) 2 σ 2 χ 2. Kvotiettteststørrelse er givet ved ( ) ˆσ 2 /2 Q(y) =. ˆσ 2 Kvotiettestet ka udføres på t = ȳ µ 0 s/, og p-værdie er givet ved ε(y) = 2P ( T t ) = 2 (1 F t 1 ( t ) ) hvor T er t-fordelt med 1 frihedsgrader og F t 1 er fordeligsfuktioe for dee fordelig.

64 64 E stikprøve med ukedt varias Bevis Det er klart at ˆµ = µ 0 da µ 0 er de eeste mulige værdi. Vi magler så at fide maksimum for ( L y (µ 0,σ 2 1 ) = exp 1 (2πσ 2 /2 ) 2σ 2 (y i µ 0 ) ). 2 som fuktio af σ 2. Det følger af lemma 4.4 dee gag med a = 1 2 (y i µ 0 ) 2 at maksimum atages for ˆσ 2 = 1 (y i µ 0 ) 2. Vi reger derefter på kvotietteststørrelse Q(y). Det følger af (4.2) og udtrykkee for ˆσ 2 og ˆσ 2 at 1 2 ˆσ 2 (y i ȳ) 2 = 2, 1 2 ˆσ 2 (y i µ 0 ) 2 = 2 således at ekspoetialleddee i tællere og ævere af Q(y) er es. Vi får derfor Q(y) = L y( ˆµ, ˆσ 2 ( ) ) ˆσ 2 /2 ( L y ( ˆµ, ˆσ 2 ) = = (y i ȳ) 2 ) /2 ˆσ 2 (y i µ 0 ) 2. (4.8) Vi magler at vise at kvotiettestet ka udføres som et test på t, så vi reger videre på Q(y). For at lette otatioe, idfører vi (ȳ µ0 ) u =, z = 1 σ σ 2 (y i ȳ) 2 = 1 σ 2 SSD y. Så er t = ȳ µ 0 s/ = Nævere i (4.8) omskrives til (y i µ 0 ) 2 = (ȳ µ0 ) SSDy /( 1) = = = (y i ȳ + ȳ µ 0 ) 2 σu σ 2 z/( 1) = (y i ȳ) 2 + (ȳ µ 0 ) (y i ȳ) 2 + (ȳ µ 0 ) 2 = σ 2 z + σ 2 u 2 u z/( 1). (y i ȳ)(ȳ µ 0 )

65 4.4 Test af hypotese om middelværdie 65 så ( Q(y) ) 2/ = σ 2 z σ 2 z + σ 2 u 2 = ) 1 ) 1 (1 + u2 = (1 + t2. z 1 Vi ka således skrive Q(y) som e aftagede fuktio af t 2. Hvis vi defierer de stokastiske variabel (Ȳ µ0 ) T = SSDY /( 1), har vi de samme sammehæg mellem Q(Y ) og T 2, og t er et udfald af T. Vi får derfor ε(y) = P ( Q(Y ) Q(y) ) = P ( T 2 t 2) = 2P ( T t ) som øsket. Bemærk edelig at det følger af MS, sætig at T er t-fordelt med 1 frihedsgrader, således at p-værdie ka bereges som agivet i sætige. Sætige siger at testet består i at berege de observerede værdi af T -teststørrelse, dvs. t, og berege hvor ekstremt værdie ligger i t-fordelige med 1 frihedsgrader. Ituitivt giver dette god meig: Hypotese bør afvises hvis ȳ og µ 0 afviger meget og bør således baseres på ȳ µ 0. Divisio med s/ ka opfattes som e ormerig der trasformerer teststørrelse til e kedt skala og således tager højde for variatioe i data. Testet kaldes et t-test. Bemærk sammehæge med testet på u fra sætig 3.8 i tilfældet med kedt varias. De kedte spredig er erstattet med estimatet s. Derfor ædres fordelige af de tilhørede teststørrelse fra stadardormalfordelige til e t-fordelig. Det betyder at værdie af t skal være større for at blive sigifikat ed de tilsvarede u-størrelse. Det skyldes de ekstra usikkerhed der er itroduceret i modelle år variase ikke er kedt. Bemærk dog at hvis ikke er alt for lille svarede til at variase er rimeligt præcist estimeret så liger N(0,1) og t 1 -fordelige hiade, og det gør ikke de store forskel om vi beytter ormalfordelige eller t-fordelige. Hvis hypotese ikke ka afvises, plejer ma at opdatere estimatere, dvs. agive ˆµ = µ 0 og ˆσ 2. Ratioalet er at der ikke er belæg for at de opridelige model med ukedt middelværdi giver e bedre beskrivelse af data ed modelle svarede til hypotese. Kommetarere fra afsit 3.4 vedrørede sprogbrug, fejltyper og sammehæge mellem kofidesitervaller og hypotesetest gælder uædret. Specielt ideholder 1 α kofidesitervallet for µ etop de værdier µ 0 for hvilke hypotese H : µ = µ 0 ikke ka afvises på sigifikasiveau α.

66 66 E stikprøve med ukedt varias Eksempel (Prothrombiideks, fortsættelse af eksempel 4.2, side 56) Husk at observatioere er forskelle mellem måliger af prothrombiidekset før og efter e behadlig. Hvis der ikke er oge effekt af behadlige, må vi forvete at iveauet i geemsit er es før og efter behadlig. Ige effekt af behadlige svarer således til hypotese H : µ = 0. Værdie af t-teststørrelse er og p-værdie er (ȳ 0) t = = = 5.27 s ε(y) = 2P(T 5.27) < hvor T t 39. Der er således stærk evides mod hypotese som afvises, og det er påvist at behadlige har e effekt. Stigige i prothrombiidekset er estimeret til 16.55, med 95% kofidesiterval (10.2,22.90). Testet i oveståede eksempel kaldes et parret t-test, fordi data består af par af observatioer, emlig måliger af prothrombiideks før og efter behadlig (se eksempel 4.2, side 56). Før- og eftermåligere for de samme perso ka æppe atages at være uafhægige, hvorimod det er rimeligt at atage at differesere for de forskellige persoer er uafhægige. Aalyse geemføres derfor på differesere. Det følgede eksempel giver også aledig til et parret t-test. Eksempel (Dagligvarepriser) Dagbladet Politike laver med jæve mellemrum sammeligiger af dagligvarepriser i forskellige butikskæder. I jui 2009 udersøgte ma prisere på 34 veldefierede varer for eksempel 1 liter letmælk, 500 g skiveskåret rugbrød, 1 kg gulerødder i fem discoutkæder, bla. Netto og Fakta. De samlede pris for de 34 varer var kr i Netto og kr i Fakta. Fakta er altså dyrere for etop dette udvalg af varer, me spørgsmålet er om dette skyldes det specifikke udvalg af varer eller om resultatet kue tækes at være aderledes for et adet udvalg af varer (e ade stikprøve). For hver af de 34 varer ser vi på forskelle mellem log-prise i Fakta og log-prise i Netto, dvs. y i = log( f i ) log( i ) hvor f i er prise i Fakta og i er prise i Netto. Bemærk at y i approksimativt er lig ( f i i )/ i, dvs. de relative prisforskel, da log(1 + x) x år x er lille. Fordele ved at bruge oveståede defiitio er at de to sæt af priser idgår symmetrisk på ær forteg. De rå forskel f i i ka være uheldig fordi de i højere grad afhæger af prisiveauet på varere.

67 4.5 Kotrol af ormalfordeligsatagelse 67 Vi atager at y 1,...,y 34 er udfald af uafhægige stokastiske variable Y 1,...,Y 34 og at Y i N(µ,σ 2 ). Geemsit og empirisk varias og spredig for de 34 observatioer viste sig at være ˆµ = ȳ = 0.025, s 2 = , s = % kofidesitervallet for µ bereges til ( 0.034, 0.084). Edepuktere svarer til 3.4% besparelse i Fakta heholdsvis 8.4% besparelse i Netto. Bemærk at ul ligger i kofidesitervallet. At varere i geemsit koster det samme i de to butikker svarer til µ = 0 så de relevate hypotese er H : µ = 0. De observerede værdi af t-teststørrelse er t = 0.87 og skal vurderes i t-fordelige med 33 frihedsgrader. p-værdie er De idsamlede priser giver således ikke belæg for at sige at prisiveauet er forskelligt i de to butikskæder. Da hypotese ikke ka afvises, opdaterer vi estimatere: ˆµ = 0. ˆσ 2 = , og ˆσ = Kotrol af ormalfordeligsatagelse I de foregåede afsit har vi udledt estimater, kofidesitervaller og test og diskuteret deres egeskaber. Alt dette gælder hvis de statistiske model er sad, altså hvis variatioe i data ka beskrives ved hjælp af e ormalfordelig, dvs. ved hjælp af tæthede (4.1) for passede værdier af µ og σ 2. Hvis data ikke er ormalfordelt keder vi ikke egeskabere og ka derfor ikke stole på resultatere fra aalyse. Det er derfor vigtigt at lave modelkotrol, dvs. kotrollere om atagelsere i de statistiske model er rimelige for de give data. Vi fokuserer her på ormalfordeligsatagelse: givet data y 1,...,y, hvorda udersøger vi om variatioe med rimelighed ka beskrives med e ormalfordelig? Vi vil ikke udføre et egetligt test selvom sådae fides me derimod lave grafisk modelkotrol på to måder: Histogram og ormalfordeligstæthed Hvis datasættet er tilstrækkeligt stort, laver ma ofte et histogram hvor skalae er ormeret således at arealet af kassere tilsamme er e, og sammeliger med tæthede for N(ȳ,s 2 ), dvs. ormalfordelige med middelværdi og varias givet ved de estimerede (empiriske) værdier. Hvis observatioere er ormalfordelte, så bør tæthede være e god approksimatio til histogrammet, da arealer uder tæthede ka fortolkes som sadsyligheder (MS kapitel 4).

68 68 E stikprøve med ukedt varias QQ-plot I et QQ-plot sammeliges de empiriske fraktiler med ormalfordeligsfraktilere. På egelsk hedder fraktil quatile heraf avet QQ-plot. På dask kaldes et QQ-plot sommetider for et fraktilplot. Atag først at vi vil udersøge om z 1,...,z kommer fra N(0,1). Brug otatioe z ( j) for de j te midste observatio således at z (1) < z (2) < < z (). Vi iddeler ehedsitervallet (0,1) i lige store dele. Midtpuktet i det j te iterval er så p j = ( j 0.5)/. De empiriske p j -fraktil defieres som de j te midste observatio, dvs. z ( j). De tilsvarede fraktil i N(0,1) er u j = Φ 1 (p j ), hvor Φ er fordeligsfuktioe for N(0,1). Et QQ-plot er et scatterplot af z ( j) mod u j for j = 1,...,. Hvis observatioere z 1,...,z er geereret af N(0, 1), så stemmer de empiriske fraktiler og ormalfordeligsfraktilere overes på ær tilfældig variatio, så puktere bør ligge omkrig e ret liie med skærig 0 og hældig 1. Atag i stedet at vi vil udersøge om y 1,...,y kommer fra N(µ,σ 2 ) for et eller adet sæt af værdier (µ,σ 2 ). Ligesom før order vi observatioere så y (1) < y (2) < < y (), og teger y ( j) mod fraktilere u j fra N(0,1). Husk at hvis Y N(µ,σ 2 ) så ka vi skrive Y = µ + σz hvor Z N(0,1). Hvis y 1,...,y er geereret fra N(µ,σ 2 ), forveter vi derfor at puktere ligger omkrig e ret liie med skærig µ og hældig σ. Når vi laver et QQ-plot, dvs. opteger de empiriske fraktiler mod N(0, 1)- fraktilere, skal vi således kigge efter om puktere på ær tilfældig variatio ligger omkrig e ret liie. Systematiske afvigelser fra e ret liie, tyder på at data ikke er ormalfordelt. De to modelkotrolmetoder er illustreret i figur 4.2 for 200 værdier simuleret fra N(10, 4). Tæthede er e god approksimatio til histogrammet (vestre figur), og puktere ligger omkrig e ret liie i QQ-plottet (højre figur). Eksempel (Prothrombiideks, fortsættelse af eksempel 4.2, side 56) Figur 4.3 viser et histogram og et QQ-plot for de 40 observatioer af forskelle i prothrombiidex før og efter behadlig. Bemærk at vi laver modelkotrolle for forskelle som jo er de variabel vi aalyserer ikke for de origiale prothrombiideksmåliger. Begge figurer tyder på at ormalfordeligsatagelse er rimelig for disse data. Eksempel (Vægt af hjerer) P. Topiard publicerede i 1888 data vedrørede størrelse af meeskehjerer. Vi vil her bruge data der består af vægte af hjere

69 4.5 Kotrol af ormalfordeligsatagelse 69 Simulerede data Tæthed N(0,1) fraktiler Empiriske fraktiler Figur 4.2: Histogram og ormalfordeligstæthed (til vestre) og QQ-plot (til højre) for 200 værdier simuleret fra N(10,4). for 108 mæd (Samuels ad Witmer, 2003, eksempel 2.12). Kotrol af ormalfordeligsatagelse er illustreret i figur 4.4. Hverke histogrammet til vestre eller QQ-plottet til højre giver aledig til bekymrig vedrørede ormalfordeligsatagelse. Geemsit og empirisk spredig for de 108 observatioer er ȳ = og s = Dette giver et 95% kofidesiterval for middelværdie på (1246.1, ). Reg selv efter! Bemærk at der ikke er oge aturlig hypotese at teste i dette tilfælde. Eksempel (Malaria) E medicisk forsker tog blodprøver fra 31 bør ificeret med malaria og bestemte for hvert bar atallet af malariaparasitter i 1 ml blod (Samuels ad Witmer, 2003, opgave 2.75). QQ-plottet for observatioere er vist i vestre side af figur 4.5. Puktere afviger voldsomt fra e ret liie, så det er urimeligt at atage at atallet af malariaparasitter er ormalfordelt bladt malariaificerede bør. Problemet er e meget tug hale af høje observatioer. Dette kommer også til udtryk ved at geemsittet (12890) er meget højere ed mediae (3672). Højre side af figure viser QQ-plottet for de logaritmetrasformerede atal. Dette plot giver ikke aledig til bekymrig, så det vil være rimeligt at aalysere de logaritmetrasformerede data ved hjælp af e ormalfordeligsmodel. Eksemplet med malariaparasitter illustrerer e vigtig poite, emlig at det sommetider er ødvedigt at trasformere data før e ormalfordeligsatagelse er rimelig.

70 70 E stikprøve med ukedt varias Tæthed Forskel (før/efter behadlig) Empiriske fraktiler N(0,1) fraktiler Figur 4.3: Histogram og ormalfordeligstæthed (til vestre) og QQ-plot (til højre) for forskelle i prothrombiideks før og efter behadlig, se eksempel I eksemplet gjorde logaritmetrasformatioe ytte fordi problemet var e tug hale til højre i fordelige: ituitioe er at logaritme trækker skalae samme således at ekstremt høje værdier på de opridelige skala er kapt så høje på log-skalae. Det er imidlertid ikke altid at ma ka fide e passede trasformatio. I så fald må ma ty til helt adre metoder, me det skal vi ikke komme yderligere id på her. QQ-plottee i figurere ovefor var alle ret emme at fortolke: der var ete klar overesstemmelse eller klar uoveresstemmelse med de rette liie. Såda er det desværre ikke altid faktisk ka det være ret svært at vurdere hvorvidt e afvigelse fra e ret liie ka tilskrives tilfældig variatio eller at ormalfordeligsatagelse er urimelig, især for små datasæt. Figur 4.6 viser QQ-plots for fire simulerede datasæt hver beståede af 10 observatioer fra N(10,4). Som det ses er der ret store afvigelser fra e ret liie selvom vi ved at data er trukket fra ormalfordelige. Morale er at der for små datasæt skal være gaske kraftige afvigelser fra e ret liie før ma med sikkerhed ka skyde ormalfordeligsatagelse i sæk. E ade morale er at det ka være yttigt at lave ligede simulerede QQ-plots hvis ma for et givet datasæt er i tvivl om hvorvidt afvigelse fra e ret liie ka skyldes tilfældig variatio eller ej. Simulatioere giver e ide om størrelsesordee af de aturlige afvigelser fra e ret liie år ormalfordeligsatagelse faktisk er sad.

71 4.6 Sammefatig og perspektiv 71 Tæthed Vægt af hjere Empiriske fraktiler N(0,1) fraktiler Figur 4.4: Histogram og ormalfordeligstæthed (til vestre) og QQ-plot (til højre) for vægte af 108 hjerer, se eksempel Sammefatig og perspektiv Vi har diskuteret statistisk aalyse af uafhægige ormalfordelte observatioer med ukedt middelværdi og varias. Modelle ka bruges år observatioere ka atages at være frembragt af samme ormalfordelig. Som regel er ma først og fremmest iteresseret i at estimere middelværdie, og aalyse sammefattes ofte med estimatet og et kofidesiterval. Der er ikke altid e aturlig hypotese der øskes testet. Modelle ka også bruges til aalyse af parrede data, hvor de samme størrelse er målt to gage, me uder forskellige omstædigheder, på samme forsøgsehed (samme perso, plate, maskie eller ligede). Ma ka så aalysere differesere ved hjælp af modelle fra dette kapitel, og ma er specielt iteresseret i om middelværdie er lig ul, svarede til at der ikke er forskel i iveauet på de målte variabel uder de to omstædigheder. I ogle situatioer er det mere aturligt at se på forholdet mellem de to observatioer i et observatiospar (eller e ade fuktio af dem). Poite er først og fremmest at de to måliger fra et par bliver reduceret til e ekelt observatio. Kostruktioe af kofidesitervaller og udførelse af hypotesetest var som for modelle med kedt varias. Tekisk set blev de kedte varias erstattet med et estimat, og fraktiler og sadsyligheder fra ormalfordelige blev erstattet med de tilsvarede størrelser fra e t-fordelig. Herved tages der hesy til de ekstra usikkerhed om middelværdiestimatet forårsaget af de ukedte varias. Fortolkige af estimater, estimatorers fordelig, kofidesitervaller og hypotesetest er helt ækvivalet med

72 72 E stikprøve med ukedt varias Empiriske fraktiler Empiriske fraktiler N(0,1) fraktiler N(0,1) fraktiler Figur 4.5: QQ-plots for atallet af malariaparasitter (til vestre) og for logaritme til dette atal (til højre), se eksempel fortolkigere fra situatioe med kedt varias. 4.7 R For e stikprøve med ukedt varias ka vi berege estimater og kofidesitervaller samt udføre test af hypoteser om middelværdie mauelt på tilsvarede måde som vi gjorde det i tilfældet med kedt varias i afsit 3.6. Alterativt ka vi lade fuktioe t.test gøre arbejdet for os. Vi illlustrerer begge dele med data fra prothrombieksemplet edefor og forestiller os derfor at de 40 observerede forskelle (før/efter behadlig) er idlæst som e vektor forskel. Dette ka for eksempel være gjort med kommadoere > leverdata <- read.table("prothrombi.txt", header=t) > attach(leverdata) # Gør variable tilgægelig > forskel # Prit af variable forskel på skærme [1] [6] [11] [16] [21] [26]

73 4.7 R 73 Empiriske fraktiler Empiriske fraktiler N(0,1) fraktiler N(0,1) fraktiler Empiriske fraktiler Empiriske fraktiler N(0,1) fraktiler N(0,1) fraktiler Figur 4.6: QQ-plots for fire simulerede datasæt med 10 observatioer fra N(10, 4) i hver. [31] [36] Her ideholder file "prothrombi.txt" e liie med tekste forskel samt 40 liier med de observerede forskelle. attach-kommadoe er ødvedig for at gøre variable forskel umiddelbart tilgægelig. Vi har altså u adgag til forskel. Aalyse med t.test Det emmeste er at bruge t.test: > t.test(forskel) # Aalyse af variable forskel

74 74 E stikprøve med ukedt varias Oe Sample t-test data: forskel t = , df = 39, p-value = 5.357e-06 alterative hypothesis: true mea is ot equal to 0 95 percet cofidece iterval: sample estimates: mea of x Outputtet giver os æste alt det vi har brug for: geemsittet, et 95% kofidesiterval, testet icl. værdie af t, atallet af frihedsgrader og p-værdie. Check selv at værdiere er de samme som i eksempel 4.6 (side 59), 4.8 (side 62) og 4.10 (side 66). Outputtet giver ikke estimatet for variase eller spredige, me de ka bereges ved hjælp af var og sd: > var(forskel) # sˆ2 [1] > sd(forskel) # s [1] Ved at ædre argumeter til t.test ka ma ædre på kofidesgrade i kofidesitervallet og værdie i hypotese. For eksempel ville edeståede kommadoer føre til output med 90% kofidesiterval, heholdsvis output med test af hypotese H : µ = 4 (hvilket i prothrombieksemplet er e komplet uiteressat hypotese): > t.test(forskel, cof.level=0.90) # 90% KI > t.test(forskel, mu=4) # Test af H:mu=4 Ovefor brugte vi forskelle mellem observatioere før og efter behadlig som argumet til t.test det er jo de variabel vi har opstillet e model for. Hvis førog eftermåligere var tilgægelige som to variable, foer og efter, kue vi også have udført aalyse med kommadoe > t.test(efter,foer, paired=true) # Parret aalyse

75 4.7 R 75 Det er helt essetielt at tilføje kode paired=true for ellers opfatter R de to variable som uafhægige og laver aalyse som e aalyse af to uafhægige stikprøver, se kapitel 5. Aalyse med mauelle beregiger Til illustratio viser vi u hvorda beregigere kue foretages mauelt det ville ma ormalt æppe gøre. Bemærk specielt fuktioere qt og pt der bereger fraktiler og sadsyligheder i t-fordeliger. > ybar <- mea(forskel) # Geemsit > s <- sd(forskel) # Estimeret spredig, s > qt(0.975, df=39) # 97.5% fraktil i t(39) [1] > ybar * s / sqrt(40) # Nedre græse i 95% KI [1] > ybar * s / sqrt(40) # Øvre græse i 95% KI [1] > ybar / s * sqrt(40) # t [1] > 2*(1-pt(5.27, df=39)) # p-værdie [1] e-06 Modelkotrol Til sidst illustrerer vi hvorda figurere til kotrol af ormalfordeligsatagelse ka laves. De følgede kommadoer laver tegige til vestre i figur 4.3, bortset fra ogle layoutmæssige tig: > hist(forskel, prob=t) # Histogram på sadsylighedsskala > f = fuctio(x) dorm(x,mea(forskel), sd(forskel)) > plot(f,-30,80, add=t) # Tilføj graf for tæthed Først laves selve histogrammet med hist. Kode prob=t sørger for at histogrammet kommer på sadsylighedsskala, dvs. at det samlede areal uder rektaglere er 1. Ma ka styre iddelige af x-akse på forskellig vis, me defaultværdiere er ofte gaske gode. Ade liie defierer fuktioe f der er tæthede for ormalfordelige med middelværdi og varias lig de estimerede værdier (se evt. afsit 3.6).

76 76 E stikprøve med ukedt varias Til sidst teges grafe for dee fuktio; kode add=t sørger for at grafe teges ove i det eksisterede plot i stedet for i e y figur. QQ-plot laves emt ved hjælp af fuktioe qqorm. De følgede kommado laver tegige til højre i figur 4.3 (påær layout): > qqorm(forskel) ## QQ-plot for variable forskel 4.8 Opgaver 4.1 For at udersøge om der er forskel på visuel og auditiv reaktioshastighed hos meesker målte ma begge slags reaktioshastigheder hos 15 basketballspillere. De visuelle reaktiostid blev målt som de tid der går før forsøgspersoe reagerer på et lyssigal, mes de auditive reaktiostid blev målt som de tid der går før forsøgspersoe reagerer på e bestemt lyd. Alle måliger er i millisekuder. Spiller Visuel Auditiv Forskel ȳ s I dee opgave skal du aalysere data hørede til visuel og auditiv reaktiostid hver for sig.

77 4.8 Opgaver Opstil e statistisk model for data svarede til visuel reaktioshastighed, og agiv estimatere for parametree i modelle. 2. Agiv de teoretiske fordelig af de tilhørede estimatorer og de estimerede spredig for middelværdiestimatet. 3. Bereg et 95% og et 90% kofidesiterval for de forvetede visuelle reaktiostid. Du ka beytte at 97.5% fraktile i t 14 -fordelige er 2.145, mes 95% fraktile er Bereg tilsvarede et 95% og et 90% kofidesiterval for de forvetede auditive reaktiostid. 4.2 I dee opgave skal du bruge data fra opgave 4.1 til at udersøge om der er forskel på visuel og auditiv reaktiostid. 1. Opstil e statistisk model der ka bruges til dette formål. Vik: hvilke variabel skal du aalysere? 2. Agiv estimater for parametree i modelle samt estimatoreres fordelig. Bestem også de estimerede spredig for middelværdiestimatore. 3. Test hypotese om at der ikke er forskel på de to slags reaktiostider. Du ka beytte at P(T 1.75) = hvis T t Bereg et 95% kofidesiterval for de geemsitlige forskel mellem visuel og auditiv reaktiostid for e tilfældig spiller. Du ka beytte at 97.5% fraktile i t 14 -fordelige er I dee opgave skal du bruge R til at udføre aalyse fra opgave 4.2. Data ligger i file reaktiostid.txt. 1. Brug kommadoe t.test(forskel). Check at R giver dig de samme resultater som du fik da du regede det igeem i håde. 2. Kotrollér ormalfordeligsatagelse. Vik: Hvilke variabel er det der atages at være ormalfordelt? 3. Teg også QQ-plot for variablee visuel og auditiv. Ser de ud til at være ormalfordelte?

78 78 E stikprøve med ukedt varias 4.4 Ved studetereksame i 2002 i skriftlig dask udførtes et såkaldt stadardforsøg hvor elever i forsøgsklassere på forhåd blev sat samme i grupper der diskuterede opgavere i e time før de egetlige eksame. Datamaterialet omfatter alle grupper fra forsøgsklassere med etop tre deltagere. I tabelle edefor er agivet geemsittet for gruppes medlemmer for heholdsvis årskarakterer i 3.g og eksameskarakterer i skriftlig dask. Data er stillet til rådighed af Mariae Hase, Haslev Gymasium og HF, og ligger i file skrdask.txt. Gruppe Årskarakter Eksameskarakter Forskel ȳ s Opstil e statistisk model der ka bruges til at udersøge om der er forskel på årskarakterer og eksameskarakterer. 2. Agiv estimater for parametree i modelle. Agiv også estimatoreres fordeliger og de estimerede spredig for middelværdiestimatore. 3. Udersøg om der er iveauforskel mellem de to slags karakterer. 4. Atag at e elev har 8 i årskarakter. Agiv et estimat for eleves eksameskarakter. Hvad er middelværdie og variase for de tilhørede estimator?

79 4.8 Opgaver Dee opgave hadler om aalyse af malariadata fra eksempel Data ligger i file malaria.txt; variable med atallet af parasitter hedder parasites. 1. Kostruér e variabel logparasites der ideholder de aturlige logaritme til parasitatallee. Brug log-fuktioe. Brug qqorm til at lave QQ-plots for parasites og for logparasites. 2. Opstil e statistisk model der ka bruges til at beskrive data. Vik: Hvilke variabel ka du lave e model for? 3. Agiv et estimat og et kofidesiterval for de forvetede værdi af logaritme til parasittallet for bør ificeret med malaria. Brug fuktioe t.test. Agiv også fordelige af estimatorere. 4. Agiv et estimat for mediae af parasittallet for bør ificeret med malaria. Vik: Er der forskel på middelværdi og media i e ormalfordelig? Hvad sker der med mediae ved trasformatio med e voksede fuktio? 5. Forklar hvorfor outputtet fra kommadoe t.test(parasites) ikke bør beyttes til aalyse af disse data.

80 80 E stikprøve med ukedt varias

81 Kapitel 5 To stikprøver I kapitel 3 og 4 diskuterede vi ormalfordeligsmodelle for e ekelt stikprøve med kedt og ukedt varias. Mage statistiske udersøgelser er dog sammeligede, hvor ma øsker at sammelige to eller flere grupper. Det ka for eksempel være sammeligiger af forskellige behadliger eller e behadlig overfor ige behadlig, sammeligiger af forskellige produkter, eller sammeligiger af forskellige ivesterigsstrategier. Vi vil i dette kursus ku se på sammeligiger af to grupper. I dette kapitel er der begrebsmæssigt itet yt i forhold til kapitel 4, vi reger blot på e udvidet model. 5.1 Statistisk model Udgagspuktet er stadig uafhægige og ormalfordelte stokastiske variable, me vi har u to grupper af observatioer: x 1,...,x 1 og y 1,...,y 2. Observatioere er realisatioer af de stokastiske variable X 1,...,X 1 med middelværdi µ 1 og varias σ 2, og Y 1,...,Y 2 med middelværdi µ 2 og varias σ 2. Observatioere er idetisk fordelte idefor gruppe, me hver gruppe har si ege middelværdi, og vi atager at der er samme varias i begge grupper. Det er e atagelse i modelle at variasere er es. Dette kaldes variashomogeitet, og det bør altid kotrolleres om dee atagelse er foruftig. Vi vil dog ikke teste for variashomogeitet i dette kursus, me i det midste vil vi grafisk vurdere om variasere med rimelighed ka atages at være es. Ma ka også aalysere e model hvor variasere er forskellige, me det vil vi ikke komme id på her.

82 82 To stikprøver Bemærk at der ikke ødvedigvis er samme atal observatioer i hver stikprøve. Der er 1 observatioer i de første gruppe og 2 observatioer i de ade gruppe, og således = observatioer i alt. De simultae fordelig af alle X i ere og Y j ere beteges N 1, 2 µ 1,µ 2,σ 2 og har tæthed f µ1,µ 2,σ 2(x,y) 1 ( 1 = exp 1 ) 2 ( 2πσ 2 2σ 2 (x i µ 1 ) 2 1 exp 1 ) j=1 2πσ 2 2σ 2 (y j µ 2 ) 2 ( ( 1 = exp 1 1 (2πσ 2 /2 ) 2σ 2 (x i µ 1 ) (y j µ 2 ) )), 2 (5.1) hvor x = (x 1,...,x 1 ) R 1 og y = (y 1,...,y 2 ) R 2. Notatioe f µ1,µ 2,σ 2 uderstreger at parametere (µ 1, µ 2,σ 2 ) er tredimesioal. Vi atager at parameterområdet er Θ = R R (0, ), me det kue også være e delmægde af dee mægde. Defiitio 5.1. Modelle for to stikprøver med samme varias består af udfaldsrummet R samt familie { } P = N 1, 2 : (µ µ 1,µ 2,σ 2 1, µ 2,σ 2 ) R R (0, ) af fordeliger på R hvor N 1, 2 µ 1,µ 2,σ 2 har tæthed (5.1). j=1 Alterativ formulerig: Lad X 1,...,X 1 og Y 1,...,Y 2 være uafhægige ormalfordelte stokastiske variable, hvor X i N(µ 1,σ 2 ) og Y j N(µ 2,σ 2 ), og hvor µ 1 R, µ 2 R og σ 2 > 0 er ukedte parametre. Bemærk forskelle fra situatioe med parrede observatioer i afsit 4. I eksempel 4.2 om prothrombiideks er der to observatioer for hver perso, emlig måliger før og efter behadlig. Ma ka æppe atage at observatioer fra samme perso er uafhægige så disse data passer ikke id i modelle fra defiitio 5.1. I stedet aalyserer ma differesere som e ekelt stikprøve og udfører et parret t-test. Eksempel 5.2. (Tuberkulosevaccie) For at sammelige BCG-vaccie (mod tuberkulose) fra to forskellige produktioscetre har ma vaccieret grupper af skolebør med vacciere og udersøgt deres reaktioer. Tuberkulireaktioe måles 3 dage efter idsprøjtig af 5 tuberkulieheder ved at måle diametere i mm af det hævede område omkrig idsprøjtigsstedet. Data består af 130 måliger fra States Serumistitut i Købehav, x 1,...,x 130, og 116 måliger fra Natioalforeiges

83 5.2 Maksimum likelihood estimatio 83 BCG-laboratorium i Oslo, y 1,...,y 116. Observatioere betragtes som realisatioer af X 1,...,X 130 og Y 1,...,Y 116 som atages at være uafhægige og ormalfordelte med varias σ 2 og middelværdier µ 1 heholdsvis µ Maksimum likelihood estimatio Vi skal estimere (µ 1, µ 2,σ 2 ) på basis af samtlige data, dvs. x = (x 1,...,x 1 ) og y = (y 1,...,y 2 ). Vi defierer ige likelihoodfuktioe som tæthede, opfattet som fuktio af parametere, L x,y : R R (0, ) R L x,y (µ 1, µ 2,σ 2 ) = f µ1,µ 2,σ ( 2(x,y) 1 = exp 1 (2πσ 2 /2 ) 2σ 2 ( 1 (x i µ 1 ) j=1 (y j µ 2 ) 2 )). E maksimum likelihood estimator for (µ 1, µ 2,σ 2 ) R R (0, ) opfylder L x,y ( ˆµ 1, ˆµ 2, ˆσ 2 ) L x,y (µ 1, µ 2,σ 2 ), (µ 1, µ 2,σ 2 ) R R (0, ). Lad SSD X = 1 (X i X) 2 og SSD Y = 2 j=1 (Y j Ȳ ) 2. De tilsvarede observerede størrelser er SSD x = 1 (x i x) 2 og SSD y = 2 j=1 (y j ȳ) 2. Vi får følgede vigtige resultat: Sætig 5.3. For de statistiske model fra defiitio 5.1 er maksimum likelihood estimatet for (µ 1, µ 2,σ 2 ) etydigt bestemt og givet ved ˆµ 1 = x, ˆµ 2 = ȳ, ˆσ 2 = 1 (SSD x +SSD y ). Estimatorere ˆµ 1 = X, ˆµ 2 = Ȳ og ˆσ 2 = 1 (SSD X +SSD Y ) er uafhægige, og deres margiale fordeliger er ˆµ 1 N (µ 1, σ 2 ), ˆµ 2 N (µ 2, σ 2 ), ˆσ 2 σ 2 1 Bevis Betragt først e fast positiv værdi af σ 2. Fuktioe 2 (µ 1, µ 2 ) L x,y (µ 1, µ 2,σ 2 ) χ2 2.

84 84 To stikprøver splitter op i et produkt af to fuktioer, e der ku afhæger af µ 1 og e der ku afhæger af µ 2. På ær kostater er disse fuktioer idetiske med likelihoodfuktioe for modelle med kedt varias, så det følger af sætig 3.3 at de har etydigt maksimum for µ 1 = x og µ 2 = ȳ. Dette gælder for alle σ 2 > 0, dvs. L x,y ( x,ȳ,σ 2 ) L x,y (µ 1, µ 2,σ 2 ), µ 1 R, µ 2 R,σ 2 > 0. Vi betragter derfor profillikelihoodfuktioe L x,y : (0, ) R for σ 2 defieret ved ( L x,y (σ 2 ) = L x,y ( x,ȳ,σ 2 1 ) = exp 1 ) (2πσ 2 /2 ) 2σ 2 (SSD x +SSD y ). Vi ka ige beytte lemma 4.4 med x = σ 2, a = (SSD x +SSD y )/2 og b = /2 til at idse at L har maksimum for σ 2 = 1 (SSD x +SSD y ). Vi har således vist at ( L x,y x,ȳ, 1 ) (SSD x +SSD y ) ( ) 1 = L x,y (SSD x +SSD y ) L x,y (σ 2 ) = L x,y ( x,ȳ,σ 2 ) L x,y (µ 1, µ 2,σ 2 ) for alle µ 1 R, µ 2 R og σ 2 > 0 så ( x,ȳ, 1 (SSD x +SSD y )) er etydigt maksimumpukt for L x,y. Resultatet vedrørede fordelige af ( X,Ȳ, ˆσ 2 ) beviser vi i flere tri. ˆµ 1 N (µ 1, σ 2 ), SSD X σ 2 χ 2 1 1, ˆµ 2 N 1 (µ 2, σ 2 2 ), SSD Y σ 2 χ Derudover siger samme sætig at ˆµ 1 og SSD X er uafhægige, og at ˆµ 2 og SSD Y er uafhægige. Da X og SSD X ku afhæger af X 1,...,X 1 og Ȳ og SSD Y ku afhæger af Y 1,...,Y 2, følger det at X, SSD X, Ȳ og SSD Y er idbyrdes uafhægige. Det følger derefter af MS, sætig (beyttet på disse fire stokastiske variable) at ˆµ 1, ˆµ 2 og ˆσ 2 er uafhægige. Fra Γ-fordeliges foldigsegeskab, MS sætig 6.1.3, har vi at ˆσ 2 = SSD X +SSD Y σ 2 χ = σ 2 χ 2 2, da χ 2 k jo er e Γ-fordelig med formparameter k/2 og skalaparameter 2.

85 5.2 Maksimum likelihood estimatio 85 Bemærk at E( X) = µ 1 og E(Ȳ ) = µ 2 således at X og Ȳ er cetrale estimatorer for µ 1 og µ 2. Derimod er E( ˆσ 2 ) = 2 σ 2 så ˆσ 2 er ikke e cetral estimator for σ 2, på samme måde som vi så i forrige kapitel, idet middelværdie i χk 2-fordelige er k således at E( ˆσ 2 ) = ( 2)σ 2. I geemsit estimeres σ 2 altså for lavt hvis vi beytter maksimum likelihood estimatore. Det er imidlertid emt at korrigere ˆσ 2 og opå et cetralt estimat: vi skal blot ormere med 2 i stedet for i defiitioe af ˆσ 2, og i stedet bruge ( ) σ 2 = (X i X) (Y j Ȳ ) 2 = 1 j=1 2 (SSD X +SSD Y ) som estimator. Så er ( 2) σ 2 σ 2 χ 2 2, og specielt er E( σ 2 ) = σ 2 som øsket. Læg dog mærke til at jo større er, jo midre betyder korrektioe af variasestimatet. Det tilsvarede estimat, hvor observatioere sættes id, beteges som regel s 2, s 2 = 1 2 ( 1 = SSD x +SSD y 2 (x i x) j=1 (y j ȳ) 2 ) = ( 1 1)s 2 x + ( 2 1)s 2 y, (5.2) 2 hvor s 2 x og s 2 y er de empiriske variaser for de to stikprøver. Det er dette estimat ma beytter. Bemærk at dette variasestimat har samme struktur som (4.4): de totale SSD-størrelse divideret med e kostat som er atallet af observatioer mius atallet af middelværdiparametre, der i dette tilfælde er to: µ 1 og µ 2. De totale SSDstørrelse er kvadratsumme af observatioere mius deres estimerede middelværdi. Lad os samle resultatet vedrørede estimatere i e bemærkig: Bemærkig 5.4. I de statistiske model fra defiitio 5.1 bruger vi estimatere ˆµ 1 = x, ˆµ 2 = ȳ, og s 2 = 1 2 (SSD x +SSD y ). De sade eller teoretiske fordelig af estimatorere X, Ȳ og σ 2 er givet i sætig 5.3, me afhæger af de ukedte parametre. Hvis vi erstatter de sade spredig σ med estimatet s i spredigere for ˆµ 1 og ˆµ 2, får vi de estimerede sprediger (stadard errors): SE( ˆµ 1 ) = s, SE( ˆµ 2 ) = s. 1 2

86 86 To stikprøver Eksempel 5.5. (Tuberkulosevaccie, fortsættelse af eksempel 5.2, side 82) For de 130 observatioer x 1,...,x 130 af turberkulireaktioer fra Købehav og de 116 observatioer y 1,...,y 116 fra Oslo viste det sig at x = 17.13; ȳ = 16.84; j=1 (x i x) 2 = (y j ȳ) 2 = således at estimatere er og s 2 = ˆµ 1 = 17.13; ˆµ 2 = = 11.80, s = Estimatorere er uafhægige, ˆµ 1 N(µ 1,σ 2 /130), ˆµ 2 N(µ 2,σ 2 /116) og σ 2 σ χ De estimerede sprediger (stadard errors) for middelværdiestimatorere er SE( ˆµ 1 ) = s = 0.301, SE( ˆµ 2 ) = s = Bemærk at præcisioe af estimatere er forskellig for Oslo og Købehav. Dette skyldes at atallet af observatioer er forskellige i de to grupper. 5.3 Kofidesitervaller I afsit 4.3 udledte vi kofidesitervallet Ȳ ± t 1,1 α/2 σ for middelværdie i e ekelt stikprøve. På samme måde ka vi lave kofidesitervaller for de to middelværdier i to stikprøver. Forskelle er at vi u bruger begge stikprøver til at estimere de fælles varias, der derfor er bedre bestemt fordi estimatet bygger på flere observatioer. Sætig 5.6. Betragt de statistiske model fra defiitio 5.1. Så er ( ) σ σ σ X ± t 2,1 α/2 1 = X t 2,1 α/2 1, X +t 2,1 α/2 1 (5.3)

87 5.3 Kofidesitervaller 87 et 1 α kofidesiterval for µ 1, og ( ) σ σ σ Ȳ ± t 2,1 α/2 2 = Ȳ t 2,1 α/2 2, Ȳ +t 2,1 α/2 2 (5.4) er et 1 α kofidesiterval for µ 2. Bevis Vi beviser ku (5.3), da (5.4) bevises på samme måde. Det følger af sætig 5.3 at U = ( X µ 1 )/(σ/ 1 ) er stadard ormalfordelt, at Z = (SSD X +SSD Y )/σ 2 χ 2 2, og at U og Z er uafhægige. Det følger da af defiitioe af t-fordelige i MS, afsit 6.2 at U 1 ( X µ T = 1 ) = Z/( 2) σ er t-fordelt med 2 frihedsgrader. Således er ( ) 1 ( X µ 1 ) P t 2,1 α/2 < < t σ 2,1 α/2 = 1 α eller, hvis vi isolerer µ 1 i midte, ( ) σ σ P X t 2,1 α/2 1 < µ 1 < X +t 2,1 α/2 1 = 1 α. (5.5) σ Dette viser at X ± t 2,1 α/2 1 er et kofidesiterval for µ 1 med kofidesgrad 1 α. Bemærk at for e givet værdi af σ er dette kofidesiterval smallere ed hvis ma ku havde beyttet de ee stikprøve til at estimere variase, idet t 2 -fordeligsfraktile altid er midre ed t 1 1-fordeligsfraktile fordi > 1. Dette giver god meig: vi har bestemt σ 2 mere præcist og der er således midre usikkerhed om estimatet på µ 1. Når ma har to stikprøver er ma ofte iteresseret i forskelle mellem deres middelværdier, og det er derfor iteressat at have estimat, estimeret spredig og kofidesiterval for forskelle i middelværdier. Det syes aturligt at bruge forskelle mellem de middelværdiestimater som estimat for forskelle mellem middelværdiere, dvs. µ 1 µ 2 = ˆµ 1 ˆµ 2 = x ȳ. Da X og Ȳ er uafhægige og er fordelt som agivet i sætig 5.3, følger det af MS, sætig at X Ȳ N (µ 1 µ 2, σ 2 + σ 2 ). (5.6) 1 2

88 88 To stikprøver Ved at erstatte σ med estimatet s, fås de estimerede spredig for estimatore ) s SE( µ 1 µ 2 = 2 + s2 1 = s Sætig 5.7. Betragt de statistiske model fra defiitio 5.1. Så er X Ȳ ± t 2,1 α/2 σ = ( ) X Ȳ t 2,1 α/2 σ , X Ȳ +t 2,1 α/2 σ et 1 α kofidesiterval for µ 1 µ 2. Bevis Fra fordelige i (5.6) ser vi at vi ka betragte kofidesitervallet for µ 1 µ 2 som et kofidesiterval for middelværdie af e ormalfordelt variabel med ukedt varias, og derfor beytte samme argumeter som i beviset for sætig 4.7. Defier de stokastiske variable U = X Ȳ (µ 1 µ 2 ) σ Z = 1 σ 2 (SSD X +SSD Y ). Så er U stadard ormalfordelt, Z er χ 2 2 fordelt og U og Z er uafhægige. Vi har da fra defiitioe af e t-fordelig, MS, afsit 6.2, at T = U Z/( 2) = X Ȳ (µ 1 µ 2 ) σ er t-fordelt med 2 frihedsgrader. Således er P t 2,1 α/2 < X Ȳ (µ 1 µ 2 ) < t 2,1 α/2 = 1 α. σ Ved at isolere µ 1 µ 2 får vi at X Ȳ ± t 2,1 α/2 σ er et kofidesiterval for µ 1 µ 2 med kofidesgrad 1 α. Diskussioere fra afsit 3.3 og 4.3 vedrørede kofidesitervaller er stadig gyldige.

89 5.4 Hypotesetest 89 Eksempel 5.8. (Tuberkulosevaccie, fortsættelse af eksempel 5.2, side 82) Husk at 1 = 130, 2 = 116, x = 17.13, ȳ = 16.84, s = Desude er 97.5% fraktile i t-fordelige med 244 frihedsgrader lig 1.97, således at ± = ± 0.59 = (16.54,17.72) ± = ± 0.63 = (16.21,17.46) er 95% kofidesitervaller for µ 1 og µ 2. Vi får følgede 95% kofidesiterval for µ 1 µ 2 : ± = 0.29 ± 0.86 = ( 0.57,1.16). Bemærk at kofidesitervallet for µ 1 ideholder puktestimatet for µ 2, og at kofidesitervallet for µ 2 ideholder puktestimatet for µ 1. Ituitivt passer det med at kofidesitervallet for forskelle ideholder ul. Hvis µ 1 µ 2 = 0 svarede til at der ikke er forskel mellem de to grupper er det således ikke usadsyligt at vi skulle have observeret de data vi har til rådighed. 5.4 Hypotesetest Vi vil u betragte hypotese om at middelværdie er de samme i de to grupper. Det er det samme som hypotese H : µ 1 µ 2 = 0 om at forskelle i middelværdier mellem de to grupper er ul. Der er ige restriktioer på variase, og vi ka skrive hypotese som H : µ 1 = µ 2 = µ eller H : (µ 1, µ 2,σ 2 ) Θ 0 = {(µ 1, µ 2 ) R 2 µ 1 = µ 2 } (0, ). Ligesom i afsit 4.4 er hypotese ikke e simpel hypotese da parametermægde uder hypotese, Θ 0, ideholder mere ed et ekelt pukt. Vi vil gøre følgede: Estimere (µ,σ 2 ) uder hypotese, dvs. bestemme ( ˆµ, ˆσ 2 ) R (0, ) så L x,y ( ˆµ, ˆµ, ˆσ 2 ) L x,y (µ 1, µ 2,σ 2 ), (µ 1, µ 2,σ 2 ) Θ 0.

90 90 To stikprøver Opskrive kvotietteststørrelse Q(x,y) = L x,y( ˆµ, ˆµ, ˆσ 2 ) L x,y ( ˆµ 1, ˆµ 2, ˆσ 2 ). Bestemme p-værdie eller testsadsylighede ε(x,y) = P ( Q(X,Y ) Q(x,y) ). Afvise hypotese hvis ε(x, y) α for et på forhåd fastsat sigifikasiveau og i givet fald kokludere at µ 1 er sigifikat forskellig fra µ 2. Sætig 5.9. Betragt de statistiske model givet i defiitio 5.1 og hypotese H : µ 1 = µ 2 = µ. Uder hypotese er maksimum likelihood estimatet ( ˆµ, ˆσ 2 ) givet ved ˆµ = 1 ( 1 ) 2 x i + y j, ˆσ 2 = 1 j=1 ( 1 (x i ˆµ) j=1 (y j ˆµ) 2 ). Fordeligere af de tilsvarede stokastiske variable er ˆµ N(µ,σ 2 /) og ˆσ 2, og de er uafhægige. Kvotiettteststørrelse er givet ved σ 2 χ2 1 og kvotiettestet ka udføres på p-værdie er givet ved ( ˆσ 2 Q(x,y) = ˆσ 2 ) /2 x ȳ t =. s ε(x,y) = 2P ( T t ) = 2 (1 F t 2 ( t ) ) hvor T er t-fordelt med 2 frihedsgrader og F t 2 er fordeligsfuktioe for t 2 - fordelige. Ide vi beviser sætige, bemærk da at ˆµ blot er geemsittet af alle måligere (fra begge grupper), og at ˆσ 2 er kvadratafvigelsessumme af alle måligere, e størrelse som vi edefor vil betege SSD x,y.

91 5.4 Hypotesetest 91 Bevis Uder hypotese har vi model 4.1 for e ekelt stikprøve med ukedt varias, og får derfor direkte fra sætig 4.3 estimatorere og deres fordelig. Vi reger derefter på kvotietteststørrelse Q(x,y). Bemærk først at ( ) ˆσ 2 (x i ˆµ 1 ) (y j ˆµ 2 ) 2 = 2 og at ( ˆσ 2 (x i ˆµ) 2 + j=1 2 j=1 (y j ˆµ) 2 ) = 2 således at ekspoetialleddee i tællere og ævere af Q(x, y) er es. Vi får således Q(x,y) = L x,y( ˆµ, ˆµ, ˆσ 2 ( ) ) ˆσ 2 /2 L x,y ( ˆµ 1, ˆµ 2, ˆσ 2 ) = ˆσ 2 som er e af påstadee i sætige. Det følger umiddelbart af defiitioe af ˆσ 2 og ˆσ 2 at ( Q(x,y) ) 2/ = ˆσ 2 ˆσ 2 = SSD x +SSD y SSD x,y, (5.7) hvor SSD x,y er kvadratafvigelsessumme for hele datasættet. Det meste af reste af beviset går ud på at vise at ) ( ) 1 2/ Q(x,y) = (1 + t2. (5.8) 2 Vi reger i første omgag på de de totale kvadratafvigelsessum, SSD x,y : SSD x,y = = = (x i ˆµ) j=1 (x i x + x ˆµ) 2 + (x i x) j=1 1 (y j ȳ) 2 + (y j ˆµ) 2 2 j=1 (y j ȳ + ȳ ˆµ) 2 ( x ˆµ) 2 + 2( x ˆµ) 2 j=1 1 (ȳ ˆµ) 2 + 2(ȳ ˆµ) (x i x) }{{} =0 2 j=1 (y j ȳ) } {{ } =0 = SSD x +SSD y + 1 ( x ˆµ) (ȳ ˆµ) 2. (5.9)

92 92 To stikprøver Det totale geemsit ˆµ er et vægtet geemsit af x og ȳ, ˆµ = 1 ( 1 ) 2 x i + y j = 1 j=1 ( 1 x + 2 ȳ). Hvis vi samtidig beytter at =, så får vi ( 1 ( x ˆµ) (ȳ ˆµ) 2 = 1 x 1 x + 2 ȳ ( (1 1 ) 2 = 1 x ȳ ) ( ) 2 ( + 2 ȳ 1 x + 2 ȳ 1 x + ( 1 2 )ȳ) 2 = ( x ȳ) (ȳ x)2 = 1 2 ( x ȳ)2 ( x ȳ)2 = (5.10) 2 I sidste lighedsteg har vi beyttet at 1 2 / = (1/ 1 + 1/ 2 ) 1. Lad os u idføre størrelsere u = x ȳ 1, z = σ σ 2 (SSD x +SSD y ) = ( 2) s2 σ 2. 2 Bemærk at de eeste forskel på u og t er at der er divideret med σ (determiistisk, me ukedt) heholdsvis s (kedt udfald af e stokastisk variabel). Forholdet mellem s 2 og σ 2 er givet ved z/( 2) således at x ȳ u t = =. s z/( 2) 1 2 Lad os samle stumpere fra beviset samme. Tilsamme giver (5.9), (5.10) og defiitioe af z og u at og ved idsættelse i (5.7) får vi ( x ȳ)2 SSD x,y = SSD x +SSD y = σ 2 z + σ 2 u 2, 2 ( Q(x,y) ) 2/ = σ 2 z σ 2 z + σ 2 u 2 = ) 1 ) 1 (1 + u2 = (1 + t2. z 2 ) 2

93 5.4 Hypotesetest 93 Dette er etop (5.8). Vi har dermed vist at Q(x,y) er e aftagede fuktio af t 2. Vi magler stadig at vise udtrykket for p-værdie. Lad os idføre de stokastiske variable Q(X,Y ), U, Z og T svarede til Q(x,y), u, z og t: ( SSDX +SSD Y Q(X,Y ) = X Ȳ U =, σ SSD X,Y Z = 1 σ 2 (SSD X +SSD Y ), U T =. Z/( 2) ) /2, Så er der de samme relatio mellem Q(X,Y ) og T som mellem Q(x,y) og t, dvs. ( Q(X,Y ) ) 2/ = σ 2 Z σ 2 Z + σ 2 U 2 = Vi ka derfor skrive p-vædie som (1 + U 2 ) 1 = (1 + T 2 ε(x,y) = P ( Q(X,Y ) Q(x,y) ) = P ( T 2 t 2). Z 2 ) 1. Uder hypotese følger det af (5.6) at U N(0,1), og af sætig 5.3 at Z χ 2 2. Da X, Ȳ, SSD X og SSD Y er uafhægige, følger det af MS, sætig at U og Z er uafhægige. Det følger således af defiitioe på e t-fordelig i MS, afsit 6.2 at T er t-fordelt med 2 frihedsgrader, og p-værdie ka derfor bereges i t-fordelige som agivet i sætige. Testet kaldes et t-test. På samme vis som vi har set i de foregåede kapitler, består testet altså i at berege de observerede værdi af T -teststørrelse, dvs. t, og berege hvor ekstremt værdie ligger i t-fordelige med 2 frihedsgrader. Også ituitivt giver dette god meig: hypotese bør afvises hvis x og ȳ afviger meget og bør således baseres på x ȳ. Divisio med de estimerede spredig af forskelle i gruppegeemsit ka opfattes som e ormerig der trasformerer teststørrelse til e kedt skala og således tager højde for variatioe i data. Ligesom ved test i e ekelt stikprøve, plejer ma at opdatere estimatere hvis hypotese ikke ka afvises, dvs. agive estimatet for µ 1 og µ 2 til ˆµ og estimatet for σ 2 til SSD x,y /( 1).

94 94 To stikprøver Kommetarere fra afsit 3.4 vedrørede sprogbrug, fejltyper og sammehæge mellem kofidesitervaller og hypotesetest gælder uædret. Specielt vil 1 α kofidesitervallet for µ 1 µ 2 ideholde værdie 0 hvis og ku hvis hypotese H : µ 1 = µ 2 ikke ka afvises på sigifikasiveau α. Eksempel (Tuberkulosevaccie, fortsættelse af eksempel 5.2, side 82) Hvis der ikke er forskel i turberkulireaktioere på vaccier foretaget i Købehav eller Oslo, må vi forvete at iveauet i geemsit er es for de to produktioscetre. Ige forskel svarer således til hypotese H : µ 1 = µ 2. Værdie af t-teststørrelse er og p-værdie er x ȳ t = = s ε(x,y) = 2P(T 0.671) = = hvor T t 244. Der er således ige evides mod hypotese som derfor accepteres. Bemærk at dette stemmer overes med at kofidesitervallet for forskelle ideholder 0. Turberkulireaktioe estimeres til mm uaset produktiosceter, med kofidesiterval (16.56,17.42). 5.5 Modelkotrol I hele dette kapitel om aalyse af to stikprøver har vi ataget følgede: Observatioere er uafhægige Der er samme varias i de to grupper Observatioere er ormalfordelte Uafhægighede følger ofte af måde data er idsamlet på. Hvis data stammer fra tilfældigt udvalgte forsøgseheder, der i øvrigt ikke formodes at have oget med hiade at gøre, er der ikke grud til at betvivle uafhægighede. For data vedrørede tuberkulosevaccie fra eksempel 5.2 syes atagelse at være rimelig hvis børee i udersøgelse ikke er søskede, ikke hører samme i grupper der får samme behadlig, eller ligede. Eksempel (Produktivitetsscore) E produktivitetsscore er blevet målt på 3 forskellige slags maskier af de samme tilfældigt udvalgte fabriksarbejdere, dvs. alle

95 5.5 Modelkotrol 95 arbejdere har testet alle 3 maskier (Piheiro ad Bates, 2000). Hver af de 6 fabriksarbejdere har testet hver maskie 3 gage, dvs. der er 18 måliger per maskie. Data er idteget til vestre i figur 5.1 for to af maskiere. Der ses e tydelig forskel mellem gruppere (maskitype). I dette tilfælde vil atagelse om uafhægighed mellem måliger ikke være opfyldt, idet det må forvetes at måliger foretaget af samme arbejder vil lige hiade mere ed måliger foretaget af forskellige arbejdere. Vi får først redskaber til at hådtere de slags data på et seere kursus (se dog opgave 5.6). Atagelse om variashomogeitet, altså atagelse om at variase er es i de to grupper, ka formelt testes med et såkaldt F-test. Det er dog udefor pesum i dette kursus, og vi vil i stedet grafisk vurdere om atagelse virker rimelig. For produktivitetsscorere fra eksempel 5.11 lader til at variase er de samme idefor de to grupper fordi observatioere spreder sig ogelude lige meget fra geemsittet i de to grupper (til gegæld var der problemer med uafhægighede). Eksempel (Lægde af kroblade) Lægde af krobladee i cm på 50 irisblomster af forskellige sorter er blevet målt (Veaples ad Ripley, 1999). Data er idteget til højre i figur 5.1. Der ses e tydelig forskel mellem gruppere (blomstersort), og der er tydeligvis også stor forskel på variase idefor hver gruppe. Variase lader til at vokse med middelværdie, hvilket er et fæome ma ofte ser. Hvis ma øskede at sammelige de to sorter ville ma ikke umiddelbart kue beytte metodere fra dette kapitel. E log-trasformatio ville formetlig afhjæl- score A maskie C lægde af kroblad setosa irissort virgiica Figur 5.1: Produktivitetsscore for 2 forskellige maskityper (til vestre) og lægde af krobladee på forskellige sorter af irisblomste (til højre).

96 96 To stikprøver pe problemet, og aalyse skulle i så fald foretages på de trasformerede data (se opgave 5.8). I afsit 4.5 diskuterede vi hvorda ma grafisk ka vurdere om e ekelt stikprøve ka atages at komme fra e ormalfordelig. Det gør vi på samme måde her, bortset fra at vi u har to grupper. Vi skal derfor tjekke ormalfordeligsatagelse i begge grupper ikke i det samlede datasæt. Hvis de to grupper har forskellig middelværdi, vil fordelige i det samlede datasæt være topuklet. Vi vil således tege histogrammer og QQ-plots for begge grupper. Eksempel (Tuberkulosevaccie, fortsættelse af eksempel 5.2, side 82) Figur 5.2 viser histogrammer med ormalfordeligstæthed idteget for tuberkulireaktiosmåligere fra Købehav (til vestre) og fra Oslo (til højre). Tæthede er e god approksimatio til histogrammet i begge figurer det er faktisk sjældet at ma ser så god overesstemmelse med ormalfordelige. Figur 5.3 viser de tilsvarede QQ-plots. Puktere ligger ogelude omkrig e ret liie. Læg mærke til hvorda puktere ligger som på e trappe. Det skyldes at datamålige er forholdsvis upræcis, og ku opgivet i hele atal mm. Der vil således være mage es måliger, som aldrig ville ske ved e sad ormalfordelig. De sade hævelser er jo heller ikke et præcist atal hele mm, og formetlig er to hævelser aldrig helt es. Data er trukeret, og i dette datasæt er dee trukerig temmelig voldsom. Det betyder dog ikke oget for aalyse. Vi ka således godt acceptere ormalfordeligsatagelse. Bemærk også at histogrammere er ogelude lige brede, hvilket atyder at atagelse om samme varias i begge grupper er acceptabel. Bemærk at e figur svarede til dem i figur 5.1 ikke er særligt yttig i dette tilfælde på grud af trukerige. Der ville være mage pukter ove i hiade, og det ville derfor være vaskeligt at vurdere variabilitete i data. 5.6 Eksempel: Eergiforbrug I dette afsit aalyseres et datasæt vedrørede det daglige eergiforbrug for uderog overvægtige kvider. Formålet med eksemplet er at få samlet trådee fra reste af kapitlet samme og set hvorda de sættes samme til e (mere eller midre) fuldstædig aalyse.

97 5.6 Eksempel: Eergiforbrug 97 Tæthed Turberkulireaktioer, Købehav Tæthed Turberkulireaktioer, Oslo Figur 5.2: Histogram og ormalfordeligstæthed for turberkulireaktiosmåligere i Købehav (til vestre) og i Oslo (til højre). Eksempel (Eergiforbrug) Eergiforbruget i løbet af 24 timer er blevet målt i MJ/dag hos to grupper af heholdsvis udervægtige og overvægtige kvider (Altma, 1999). Data består af 13 måliger af udervægtige kvider, x 1,...,x 13, og 9 måliger af overvægtige kvider, y 1,...,y 9. Observatioere betragtes som realisatioer af X 1,...,X 13 og Y 1,...,Y 9 som atages at være uafhægige og ormalfordelte med varias σ 2 og middelværdier µ 1 og µ 2. Data er agivet i tabel 5.1 og plottet i figur 5.4. Udfra figur 5.4 lader det til at atagelse om samme varias i begge grupper godt ka accepteres. Med ku 13 og 9 observatioer i hver gruppe er der ikke data ok til at lave histogrammer, og det er svært at kotrollere ormalfordeligsatagelse. I figur 5.4 er QQ-plots idteget, og vi ka udfra disse godt acceptere ormalfordeligsatagelse, dog med forbehold fordi der er så få observatioer. Bemærk at med så få pukter er det almideligt at der er store afvigelser fra e ret liie, selv år data faktisk er ormalfordelt, som beskrevet og illustreret i afsit 4.5. For de 13 observatioer x 1,...,x 13 for de udervægtige kvider og de 9 observatioer y 1,...,y 9 for overvægtige kvider har vi følgede: x = 8.066; ȳ = ; j=1 (x i x) 2 = = (y j ȳ) 2 = =

98 98 To stikprøver Empiriske fraktiler, Købehav Empiriske fraktiler, Oslo N(0,1) fraktiler N(0,1) fraktiler Figur 5.3: QQ-plots for turberkulireaktiosmåligere i Købehav (til vestre) og i Oslo (til højre). Således er estimatere µ 1 = 8.066, µ 2 = og s 2 = = , s = Estimatorere er uafhægige, ˆµ 1 N(µ 1,σ 2 /13), ˆµ 2 N(µ 2,σ 2 /9) og 20 σ 2 σ 2 χ De estimerede sprediger (stadard errors) er SE( ˆµ 1) = s/ 13 = 0.36 for eergiforbrug (MJ/dag) udervægtig overvægtig Figur 5.4: Eergiforbruget i MJ/dag over 24 timer i grupper af udervægtige og overvægtige kvider (Altma, 1999).

99 5.6 Eksempel: Eergiforbrug 99 Udervægtig Overvægtig ( = 13) ( = 9) Geemsit Spredig Tabel 5.1: Eergiforbruget i MJ/dag over 24 timer i grupper af udervægtige og overvægtige kvider (Altma, 1999). ˆµ 1 og SE( ˆµ 2 ) = s/ 9 = 0.44 for ˆµ 2. For at kostruere 95% kofidesitervaller for µ 1 og µ 2 skal vi bruge 97.5% fraktile i t-fordelige med 20 frihedsgrader der er lig Vi får følgede: ± = ± = (7.311,8.821) ± = ± = (9.391,11.205) I virkelighede er forskelle mellem de to grupper mere iteressat. Forskelle mel- Empiriske fraktiler, udervægtig N(0,1) fraktiler Empiriske fraktiler, overvægtig N(0,1) fraktiler Figur 5.5: QQ-plots for eergiforbrug for udervægtige kvider (til vestre) og for overvægtige kvider (til højre).

100 100 To stikprøver lem middelværdiere, µ 1 µ 2, estimeres til = med estimeret spredig Vi får derfor 95% kofidesiterval for forskelle: ± = ± = ( 3.412, 1.052). Bemærk at kofidesitervallere for µ 1 og µ 2 er disjukte. Ituitivt passer det med at kofidesitervallet for forskelle ikke ideholder ul. Hvis µ 1 µ 2 = 0 svarede til at der ikke er forskel mellem de to grupper er det således usadsyligt at vi skulle have observeret de data vi har til rådighed. Hvis der ikke er forskel i eergiforbruget hos udervægtige og overvægtige kvider, må vi forvete at iveauet i geemsit er es for de to grupper. Ige forskel svarer således til hypotese H : µ 1 = µ 2. Værdie af t-teststørrelse er og p-værdie er x ȳ t = = s = ε(x,y) = 2P(T ) = hvor T t 20. Fortolkige af p-værdie er at hvis der ikke er forskel mellem gruppere, dvs. hypotese er sad, da vil sadsylighede for at observere disse data, eller oget der er lægere væk fra hypotese, være Da dee sadsylighed er meget lille, afviser vi hypotese. Bemærk at dette stemmer overes med kofidesitervallet for forskelle, der ikke ideholder ul. Vi kokluderer således at der er evides i data for at eergiforbruget hos overvægtige kvider er højere ed eergiforbruget hos udervægtige kvider. 5.7 Sammefatig og perspektiv Vi har diskuteret statistisk aalyse af uafhægige ormalfordelte observatioer fra to grupper med samme varias, me muligvis med forskellige middelværdier. Modelle ka bruges år observatioere idefor hver gruppe ka atages at være frembragt af samme ormalfordelig. Som regel er ma først og fremmest iteresseret i at estimere forskelle i middelværdier, eller udersøge om middelværdie er de samme i de to grupper. Aalyse sammefattes ofte med estimater og kofidesitervaller for middelværdiere i hver gruppe, og for forskelle i middelværdier. De aturlige hypotese at teste er at gruppere har samme middelværdi. Kostruktioe af kofidesitervaller og udførelse af hypotesetest er begrebsmæssigt de samme som for modelle for e ekelt stikprøve.

101 5.8 R 101 Atagelsere for at lave aalyse bør altid tjekkes før ma drager ogle koklusioer. Atagelsere er at observatioere er uafhægige, ormalfordelte og med samme varias i de to grupper. 5.8 R Vi bruger data fra eksempel 5.2 (side 82) om tuberkulosevaccie som illustratio og forestiller os at data er idlæst som vektorer diameterkbh og diameteroslo: > diameterkbh # Observatioer fra Købehav [1] [19] [127] > diameteroslo # Observatior fra Oslo [1] [19] [109] Disse vektorer ka være idtastet mauelt, me vil ofte skulle frembriges fra et datasæt på e lidt ade form. Atag at R-datasættet tbdata ideholder 246 observatioer e for hvert bar af to variable, diameter og by, således at datasættet ser ud på følgede måde: > tbdata # Datasæt med alle observatioer by diameter 1 kbh 9 2 kbh 10.. [Flere datalier her]. 245 oslo oslo 24

102 102 To stikprøver Så ka de øskede variable for eksempel kostrueres med subset på følgede måde: > diameterkbh <- subset(tbdata, by=="kbh")$diameter > diameteroslo <- subset(tbdata, by=="oslo")$diameter subset(tbdata, by="kbh") laver et deldatasæt af tbdata der ku ideholder de observatioer (dataliier) hvor variable by har værdie kbh. Fra dette datasæt udtrækkes variable diameter med $. Tilsvarede for tallee fra Oslo. Estimater, kofidesiterval for µ 1 µ 2 og hypotesetest Aalyse vedrørede forskelle mellem middelværdiere µ 1 og µ 2 laves emmest ved at bruge fuktioe t.test: > t.test(diameterkbh, diameteroslo, var.equal=t) # Aalyse Two Sample t-test data: diameterkbh ad diameteroslo t = , df = 244, p-value = alterative hypothesis: true differece i meas is ot equal to 0 95 percet cofidece iterval: sample estimates: mea of x mea of y Argumetet var.equal skal ædres fra defaultværdie FALSE til TRUE fordi vi atager at variasere er es i de to grupper. Øverst i outputtet aflæses de observerede værdi af t-teststørrelse (0.6714), atallet af frihedsgrader (244) og p-værdie (0.5026) for hypotese H : µ 1 = µ 2. Derefter følger 95% kofidesitervallet for forskelle mellem middelværdiere, µ 1 µ 2, emlig ( , ). Nederst agives de to middelværdiestimater ( og ). På ær afrudigsfejl er disse værdier de samme som vi beregede i eksempel 5.5, 5.8 og 5.10 (side 86, 89 og 94). Outputtet giver ikke variasestimatet s 2 så det må bereges mauelt. Empiriske variaser for de to stikprøver hver for sig ka bereges ved hjælp af var. Hvis vi bruger (5.2) ka s 2 og s således bereges på følgede måde:

103 5.9 Opgaver 103 > (129*var(diameterKbh)+ 115*var(diameterOslo)) / + ( ) # Beregig af sˆ2 [1] > sqrt( (129*var(diameterKbh) + 115*var(diameterOslo)) / + ( )) # Beregig af s [1] Kofidesitervaller for µ 1 og µ 2 Kofidesitervallere fra afsit 5.6 for µ 1 og µ 2 (ikke deres forskel) agives ikke som output fra t.test-kommadoe ovefor, me ka aturligvis bereges mauelt. Geemsittee bereges med mea mes t-fordeligsfraktile bereges med qt, se afsit 4.7. Modelkotrol Histogrammer og QQ-plots for de ekelte variable laves ved hjælp af hist og qqorm som forklaret i afsit 4.7. Følgede kommadoer giver (påær layout) plottee i figur 5.2 og 5.3: > hist(diameterkbh, prob=t) # Histogram for Købehav > hist(diameteroslo, prob=t) # Histogram for Oslo > qqorm(diameterkbh) # QQ-plot for Købehav > qqorm(diameteroslo) # QQ-plot for Oslo Figure svarede til figur 5.1 er som ævt ikke så yttig for disse data fordi de samme værdier er observeret mage gage, me figure kue laves med følgede kommado: > stripchart(list(diameterkbh, diameteroslo), vertical=t) # Plot til kotrol af variashomogeitet 5.9 Opgaver 5.1 I e udersøgelse offetliggjort i artikle Are Wome Really More Talkative Tha Me? (Mehl et al., 2007) blev atallet af ord som 396 kvidelige og madlige uiversitetsstuderede i USA og Mexico taler på e dag målt. Resultatere er opsummeret i følgede tabel.

104 104 To stikprøver Kvider Mæd ( = 210) ( = 186) Geemsit Spredig Opstil e statistisk model der gør det muligt at udersøge om der er forskel på atallet af ord e kvide og e mad taler på e dag. 2. Agiv estimater for samtlige parametre i modelle, og agiv også de tilhørede estimatorers fordelig. Bestem desude de estimerede spredig for estimatorere for middelværdiparametree. 3. Bereg et estimat for de forvetede forskel mellem atallet af ord de to kø taler på e dag. Bestem også de estimerede spredig for de tilhørede estimator samt et 95% kofidesiterval for forskelle. 4. Udfør et hypotesetest der udersøger om der er forskel på atallet af ord e kvide og e mad taler på e dag. 5.2 Værdistigige for 15 ivesterigsforeiger er blevet udersøgt over e femårsperiode. Værdie af aktieportefølje blev sat til 100 ved periodes start, og tallee i tabelle viser værdie ved periodes slutig. Seks af foreigere ivesterer hovedsageligt i daske aktier, de øvrige i hovedsageligt i udeladske aktier. Daske Udeladske Udfør et test for hypotese om at der ikke er forskel på værdistigige for de to typer ivesterigsforeiger. Du ka bruge edeståede R-output: > dk <- c(213.41, , ,..., ) > udl <- c(148.40, , ,..., ) > t.test(dk, udl, var.equal=t) Two Sample t-test data: dk ad udl

105 5.9 Opgaver 105 t = , df = 13, p-value = alterative hypothesis: true differece i meas is ot equal to 0 95 percet cofidece iterval: sample estimates: mea of x mea of y Gør rede for forudsætigere for testet. Er der grud til at tro at ogle af forudsætigere er problematiske? Beyt evt. tegige edefor. Værdi Nedeståede data stammer fra e udersøgelse af 2 typer orgaiske opløsigsmidler, dels aromatiske forbidelser og dels klorerede hydrocarboer (Ortego et al., 1995). I uafhægige prøver fra hver af de to stoffer måltes bidigsrate. Resultatere er agivet i tabelle. Opløsigsmiddel Bidigsrate Aromatiske forbidelser Klorerede hydrocarb Data ligger i file oplosigsmiddel.txt. Det ka i det følgede atages at observatioer er stokastisk uafhægige og ormalfordelte. 1. Opstil e statistisk model til beskrivelse af forsøget.

106 106 To stikprøver 2. Kostruér to vektorer, arom og klor, der ideholder måligere. Vik: Brug read.table til at idlæse data til et R-datasæt, for eksempel med avet oplos.data. Derefter ka du bruge følgede kommadoer: > attach(oplos.data) > arom <- rate[oplos == "Arom"] > klor <- rate[oplos == "Klor"] > detach(oplos.data) Alterativt ka du idtaste vektorere mauelt. 3. Brug mea og var til at berege geemsit og empiriske variaser for arom og klor hver for sig. Bereg derefter det sammevejede variasestimat s Bereg 95% kofidesitervaller for middelværdie af bidigsrate ved hver af de to opløsigsmidler. Brug qt til at bestemme de relevate fraktil. 5. Prøv kommadoere > t.test(arom) > t.test(klor) og sammelig kofidesitervallere med dem fra spørgsmål 4. Hvorfor adskiller de sig? 6. Agiv estimatet og 95% kofidesitervallet for forskelle mellem bidigsrate i de to grupper. Du ka bruge kommadoe t.test(arom,klor,var.equal=true) 7. Udersøg med et hypotesetest om de to bidigsrater ka atages at ligge på samme iveau (brug outputtet fra spørgsmål 6). Sammelig med resultatere fra spørgsmål Redegør for forudsætigere for aalyse. 5.4 Betragt de statistiske model fra defiitio Lad være et givet lige tal. Hvorda vælges 1 og 2 således at = og således at Var( X Ȳ ) er midst mulig?

107 5.9 Opgaver Forklar hvad dette betyder i forbidelse med forsøgsplalægig: Atag at vi øsker at sammelige to behadliger og har forsøgspersoer til rådighed. Hvorda fordeler vi bedst muligt de persoer på de to behadliger? Og hvad betyder bedst muligt i dee sammehæg? Betragt desude 1 α kofidesitervallet for µ 1 µ 2 fra sætig 5.6. Lægde af kofidesitervallet er 1 L = 2 t 2,1 α/2 σ som er e stokastisk variabel. 3. Gør rede for at middelværdie af σ eksisterer og ku afhæger af 1 og 2 geem. Det er ikke meige at du skal berege E( σ). 4. Gør rede for at middelværdie af L eksisterer. 5. Hvad siger resultatet fra spørgsmål 1 2, udtrykt ved hjælp af lægde af kofidesitervallet? 5.5 Data til dee opgave stammer fra to eksperimeter, hvor ma målte fluers reaktiostid efter de var blevet udsat for ervegas (Blæsild ad Grafeldt, 2003). Målige for de ekelte flue består i de tid reaktiostide der går fra flue briges i kotakt med gifte og idtil de ikke lægere ka stå på beee. I det første eksperimet blev fluere udsat for gifte i 30 sekuder og i det adet i 60 sekuder. Måligere af reaktiostide ses edefor. Reaktiostid i sekuder kotakttid sekuder kotakttid sekuder Idtast data i to variable, reak30 og reak60. Lav derefter to ye variable, logreak30 og logreak60, beståede af de log-trasformerede data. 2. Udersøg rimelighede af ormalfordeligsatagelse både på de opridelige data og de log-trasformerede data.

108 108 To stikprøver 3. Bereg de empiriske varias for hver af de fire variable. På hvilke skala virker det mest rimeligt at atage at variase er de samme? Atag at fra u af at observatioere er uafhægige, og at logaritme til observatiostidere er ormalfordelte med samme varias. 2. Vis at data ikke tyder på at fordelige af reaktiostide afhæger af om kotakttide er 30 eller 60 sekuder. 3. Vi ka altså betragte alle data som e ekelt stikprøve. Agiv et estimat og et kofidesiterval for de logaritmetrasformerede observatioers middelværdi. 4. Agiv et estimat og et kofidesiterval for de forvetede reaktiostid. Vik: Trasformer estimatet og kofidesgræsere tilbage til de opridelige skala. Bliver kofidesitervallet symmetrisk? 5.6 Læs eksempel 5.11 ige. Som det fremgår er der problemer med atagelse om uafhægighed. Vi skal u overveje hvorda ma alligevel kue udersøge om der er forskel på produktivitetsscore for de to maskier. 1. Der er tre getagelser for hver kombiatio af perso og maskie. Hvorda ka disse på e hesigtsmæssig måde reduceres til e ekelt observatio, således at data består af ku 12 tal (et per kombiatio af perso og maskie)? 2. Hvilke model ka bruges til at aalysere disse 12 tal? Vik: Er der tale om et parret eller et uparret set-up? 5.7 Kør aalyse fra eksempel 5.14 om eergiforbrug hos uder- og overvægtige kvider i R. Check at du får de samme resultater som i eksemplet. 5.8 Data til eksempel 5.12 ligger i datasættet iris i R-pakke MASS. Følgede kommadoer gør data og fuktioer i pakke tilgægelige, gør variablee i iris tilgægelige og defierer de to stikprøver fra eksemplet: > library(mass) > attach(iris) > x <- Petal.Legth[Species=="setosa"] > y <- Petal.Legth[Species=="virgiica"] 1. Kør kommadoere og skriv x og y ud på skærme.

109 5.9 Opgaver Prøv følgede kommadoer, e ad gage: > stripchart(list(x,y), vertical=t) > stripchart(list(log(x),log(y)), vertical=t) Første graf er (påær layout) idetisk med højre del af figur 5.1. Forklar hvad du ser på de ade graf. Hvad er koklusioe med hesy til variashomogeitet? 3. Overvej hvorda du ville udersøge om der er forskel på lægde af kroblade for de to sorter. Udfør evt. aalyse med t.test. Vik: Hvilke variabel ville du bruge? 5.9 Betragt data x 1,...,x og y 1,...,y og atag at de er udfald af uafhægige stokastiske variable X 1,...,X 1 og Y 1,...,Y 2 hvor X i N(µ 1,σ0 2) og Y j N(µ 2,σ0 2 ). Her er µ 1, µ 2 R ukedte parametre mes σ0 2 > 0 er et kedt tal. Modelle er altså idetisk med modelle fra defiitio 5.1 bortset fra at variase er kedt. Vi skal iteressere os for test af hypotese H : µ 1 = µ Gør rede for at estimatere for µ 1 og µ 2 i modelle og uder hypotese er givet ved ˆµ 1 = x, ˆµ 2 = ȳ, ˆµ 1 = ˆµ 2 = 1 ( 1 x + 2 ȳ) hvor = Vis at kvotietteststørrelse er givet ved Q(x,y) = L ( x,y( ˆµ 1, ˆµ 2 ) L x,y ( ˆµ 1, ˆµ 2 ) = exp 1 2σ0 2 ) 1 2 ( x ȳ)2 og gør rede for at likelihood ratio testet derfor ka udføres på 3. Gør rede for at u = x ȳ σ 0 1/1 + 1/ 2. X Ȳ U = σ 0 1/1 + 1/ 2 er stadard ormalfordelt uder hypotese, og at hypotese derfor accepteres (ikke forkastes) på 5% iveau hvis og ku hvis u < 1.96.

110 110 To stikprøver Atag u at = µ 1 µ 2 > 0 således at hypotese er falsk. 4. Vis at sadsylighede for at hypotese H : µ 1 = µ 2 accepteres på 5% sigifikasiveau er q(k) = Φ(1.96 k) Φ( 1.96 k), k = σ 0 1/1 + 1/ 2 Vik: Skriv U som U = X Ȳ σ 0 1/1 + 1/ 2 + k og vis at første led er stadard ormalfordelt år de sade forskel µ 1 µ 2 er. 5. Vis at q er e aftagede fuktio på (0, ). Vik: Differetier. 6. Hvad sker der med sadsylighede for at begå fejl af type II (acceptere e falsk hypotese) år de sade forskel mellem µ 1 og µ 2 vokser? variase σ 2 0 vokser? Argumetér både ituitivt og ved hjælp af fuktioe q. 7. For et givet lige tal, hvorda vælges 1 og 2 således at = og således at sadsylighede for at begå fejl af type II er midst mulig. Vik: Du ka beytte resultatet fra opgave 5.2 hvis du har lavet de.

111 Kapitel 6 Lieær regressio I de forrige kapitler har vi set på ormalfordeligsmodeller der ivolverer e ekelt variabel. Ofte er ma dog iteresseret i at beskrive sammehæge mellem flere variable eller, mere specifikt, at beskrive e variabel som fuktio af e ade variabel. Fuktioe ka være givet udfra e teori om årsagssammehæge. Dette gælder for eksempel bae som et projektil geemløber som fuktio af tide, da dee bae ka beskrives ved e parabel bestemt udfra tygdeacceleratioe og de hastighed projektilet afskydes med. Ofte keder ma dog ikke de bagvedliggede fysiske love eller biologiske mekaismer, og de statistiske aalyse skal etop sadsyliggøre eller afvise forskellige forklarigsmodeller for observerede sammehæge. I magel af teoretisk vide om årsagssammehæge baseres aalyse således på empiriske sammehæge, dvs. sammehæge baseret på observerede data. Data idsamles for at få vide om sammehæge. Regressiosmodeller avedes til at beskrive sammehæge mellem e stokastisk resposvariabel og e eller flere forklarede variable, der formodes at have idflydelse på iveauet af resposvariable. De forklarede variable kaldes også regressiosvariable, baggrudsvariable eller kovariater. Vi vil i disse oter ku se på e ekelt forklarede variabel og desude ku på lieære sammehæge mellem resposvariable og de forklarede variabel. Dette kaldes i ogle sammehæge e simpel lieær regressio og daer udgagspukt for mere avacerede og realistiske modeller. Teorie for simpel lieær regressio geemgås i afsit , og bliver illustreret af et eksempel fra medicisk forskig. I afsit 6.7 ser vi ærmere på e berømt model fra fiasierig, emlig CAPM. Dette afsit skal

112 112 Lieær regressio blot ses som et eksempel på lieær regressio i e økoomisk/fiasierigsmæssig sammehæg. 6.1 Statistisk model De simpleste beskrivelse af sammehæge mellem e resposvariabel y og e forklarede variabel x er e lieær fuktio y(x) = α + βx. (6.1) Udgagspuktet er stadig uafhægige og ormalfordelte stokastiske variable, me middelværdie ka u afhæge af værdie af e ade variabel. Vi betragter par af sammehørede observatioer (x 1,y 1 ),..., (x,y ). Observatioere y 1,...,y er realisatioer af de stokastiske variable Y 1,...,Y, hvor vi atager at Y 1,...,Y er stokastisk uafhægige, og at Y i er ormalfordelt med middelværdi α +βx i og varias σ 2. Værdiere x 1,...,x atages derimod at være kedte tal. Vi atager også at midst to af x ere er forskellige ellers vil vi jo ikke kue udtale os om hvorda middelværdie ædrer sig som fuktio af x, og α + βx i er blot e kostat for alle i = 1,...,. Modelle ville således svare til modelle for e ekelt stikprøve med ukedt varias, som blev behadlet i kapitel 4. Liie (6.1) kaldes regressiosliie. Parametere β beskriver hvorda middelværdie ædrer sig år x ædrer sig. Hvis β > 0 vil middelværdie af Y vokse år x vokser. Hvis β < 0 vil e højere værdi af x gøre middelværdie af Y midre. Parametere β kaldes også effektparametere af x på y og ka fortolkes direkte: år x vokser e ehed, ædres middelværdie af Y med β eheder. E ædrig af x med e ehed er ikke meigsfuld i alle sammehæge; tæk for eksempel på e situatio hvor x aturligt varierer mellem 0 og 1. Me fortolkige ka skaleres: år x vokser med værdie, ædres middelværdie af Y med β eheder. Parameterværdie β = 0 er særlig iteressat, fordi middelværdie af Y i dette tilfælde ikke afhæger af x. Ofte er formålet med de statistiske aalyse etop at teste om Y afhæger af x, og de aturlige hypotese er i så fald H : β = 0. Parametere α agiver middelværdie svarede til x = 0, dvs. skærige med y- akse. Bemærk dog at værdie x = 0 ikke giver meig i alle sammehæge. Tæk for eksempel på e situatio hvor ma iteresserer sig for sammehæge mellem højde (x) og vægt (y). Her ville x = 0 svare til e perso der er 0 m høj, hvilket er meigsløst. Ma skal således være e smule varsom med fortolkige af α.

113 6.1 Statistisk model 113 Udgagspuktet er således uafhægige stokastiske variable Y 1,...,Y, hvor Y i N(α + βx i,σ 2 ). Sommetider skriver ma i stedet Y i = α + βx i + ε i hvor ε 1,...,ε er uafhægige og N(0,σ 2 )-fordelte. De cetrale atagelse for lieær regressio er E(Y i ) = α + βx i. De simultae fordelig af (Y 1,...,Y ) beteges N α,β,σ 2 og har tæthed ( 1 f α,β,σ 2(y) = exp 1 ) 2πσ 2 2σ 2 (y i α βx i ) 2 ( 1 = exp 1 (2πσ 2 /2 ) 2σ 2 (y i α βx i ) ), 2 (6.2) hvor y = (y 1,...,y ) R. Vi atager at parameterområdet er Θ = R R (0, ), me det kue også være e delmægde af dee mægde. Defiitio 6.1. Modelle for e lieær regressio består af udfaldsrummet R samt familie { } P = N α,β,σ : (α,β,σ 2 ) R R (0, ) 2 af fordeliger på R hvor N α,β,σ 2 har tæthed (6.2). Alterativ formulerig: Lad Y 1,...,Y være uafhægige ormalfordelte stokastiske variable, Y i N(α + βx i,σ 2 ) hvor α R, β R og σ 2 > 0 er ukedte parametre. Eksempel 6.2. (Vcf og blodglukose) Et ekkokardiogram bruger ultralyd til at observere hjertets kamre og klapper og beyttes til at diagosticere e række forskellige hjerteproblemer. For at udersøge om middelhastighede hvormed det vestre hjertekammer trækker sig samme (Vcf) målt ved et ekkokardiogram afhæger af blodglukose uder faste, blev der foretaget måliger af 23 patieter med type 1 diabetes (Altma, 1999). Patieter med diabetes har højere blodglukose uder faste ed raske persoer, og diabetes er e risikofaktor for forskellige hjertesygdomme. Data består af 23 sammehørede måliger af Vcf (målt i % per sekud), beteget y 1,...,y 23, og fasteblodglukose (målt i mmol per liter), beteget x 1,...,x 23. Det første ma bør gøre, er altid at plotte data, både for at få e foremmelse af data, og for at se om det er foruftigt at beskrive data ved e lieær regressiosmodel. Det aturlige plot for sådae sammehørede par af måliger er et scatterplot, hvor

114 114 Lieær regressio resposvariable afsættes mod baggrudsvariable i et koordiatsystem, således at y- variable bestemmer værdie på de vertikale akse, og x-variable bestemmer værdie på de horisotale akse. I figur 6.1 ses et scatterplot for blodglukose og Vcf. Det lader til at Vcf stiger år blodglukose stiger. Det er ikke umiddelbart klart at sammehæge er lieær, me det ka heller ikke afvises. I de lieære regressiosmodel betragter vi blodglukosemåligere x 1,...,x 23 som faste og Vcf-måligere y 1,...,y 23 som udfald af stokastiske variable Y 1,...,Y 23 der atages at være uafhægige og ormalfordelte med varias σ 2 og middelværdier α + βx i. Vcf (%/sec) blodglukose (mmol/l) Figur 6.1: Sammehæg mellem blodglukose uder faste og middelhastighede hvormed det vestre hjertekammer trækker sig samme (Vcf). Data stammer fra 23 type 1 diabetikere (Altma, 1999). De rette liie er regressiosliie bereget i eksempel 6.8 på side Maksimum likelihood estimatio Vi skal estimere (α,β,σ 2 ) på basis af data, x = (x 1,...,x ) og y = (y 1,...,y ). Vi defierer ige likelihoodfuktioe som tæthede, me opfattet som fuktio af parametere. Vi ser altså på L y : R R (0, ) R givet ved L y (α,β,σ 2 1 ) = f α,β,σ 2(y) = (2πσ 2 ) /2 exp ( 1 2σ 2 (y i α βx i ) 2 ). (6.3) Vi vil maksimere likelihoodfuktioe ved hjælp af profilmetode og skal se at det ka gøres ved at trække på maksimerigsresultatere fra modelle for e ekelt

115 6.2 Maksimum likelihood estimatio 115 stikprøve (kapitel 4) på e smart måde, år vi kombierer med følgede resultat: Lemma 6.3. For talsæt z 1,...,z R og s 1,...,s R, hvor ikke alle s i ere er lig ul, vil fuktioe miimeres etydigt af g(β) = (z i βs i ) 2 ˆβ = s iz i s i 2. Bevis Vi differetierer id i summe og ser at g (β) = = 2 ( 2 s i ( s i )2(z i βs i ) = 2 ) ( β s iz i s i 2 ). s i z i + 2β s 2 i Heraf aflæser vi fortegsforholdee for g (β), og vi kostaterer let det øskede. For at formulere maksimerigsresultatet for (6.3) på e overskuelig måde, idfører vi ogle forkortelser. Som sædvalig beteger x og ȳ geemsittee, mes Derudover defierer vi SSD x = SPD xy = Her står SPD for sums of products of deviatio. (x i x) 2. (x i x)(y i ȳ). Sætig 6.4. For de statistiske model fra defiitio 6.1 er maksimum likelihood estimatet for (α,β,σ 2 ) etydigt bestemt og givet ved ˆα = ȳ x SPD xy SSD x, ˆβ = SPD xy SSD x, ˆσ 2 = 1 (y i ˆα ˆβx i ) 2.

116 116 Lieær regressio Bevis For fastholdt værdi af β og σ 2 er maksimerigsproblemet for (6.3) idetisk med maksimerigsproblemet for e ekelt stikprøve med kedt varias år vi opfatter y i βx i som observatioere. Dette problem blev løst i afsit 3.2, og vi ser derfra at maksimum atages i geemsittet af observatioere, dvs. ˆα(β,σ 2 ) = 1 (y i βx i ) = ȳ β x. Bemærk hvorda vi i otatioe gør opmærksom på at vi har fudet et maksimumpukt mht. α for fastholdt (β,σ 2 ), me at løsige faktisk ku afhæger af β. Idsættes ˆα(β,σ 2 ) for α i (6.3), fås e fuktio der ku afhæger af β og σ 2 : ( ) L y (β,σ 2 1 ) = exp 1 (2πσ 2 /2 ) 2σ 2 (y i ȳ β(x i x)) 2. Vi siger at vi har profileret α ud. For fastholdt σ 2 ka vi maksimere L y (β,σ 2 ) mht. β ved at miimere ekspoete. Me det svarer etop til det problem der blev løst i lemma 6.3 med z i = y i ȳ og s i = x i x. Vi ser derfor at vi for fastholdt σ 2 maksimerer L y (β,σ 2 ) i ˆβ(σ 2 ) = (x i x)(y i ȳ) (x i x) 2 = SPD xy SSD x. Vi kostaterer at dee størrelse slet ikke afhæger af σ 2. Det følger at for fast σ 2 vil (6.3) blive maksimeret af ˆα = ȳ x SPD xy SSD x, ˆβ = SPD xy SSD x. Idsættes disse værdier i (6.3), fås e likelihood hvor både α og β er profileret ud og som altså ku har σ 2 som argumet, ( ) L y (σ 2 1 ) = exp 1 (2πσ 2 /2 ) 2σ 2 (y i ˆα ˆβx i ) 2. Me e fuktio af dee type blev maksimeret i lemma 4.4, så vi ka direkte aflæse at maksimum bliver ataget i ˆσ 2 = 1 (y i ˆα ˆβx i ) 2.

117 6.2 Maksimum likelihood estimatio 117 Dermed har vi alt i alt vist det øskede. Ved at idsætte estimatere får vi de estimerede regressiosliie ŷ(x) = ˆα + ˆβx = ȳ SPD xy SSD x x + SPD xy SSD x x. Bemærk specielt at ŷ( x) = ȳ. Det betyder at de estimerede regessiosliie går geem puktet ( x,ȳ) beståede af geemsittee af de to variable. Bemærk også at der i det vigtige specialtilfælde hvor x = 0, gælder at ˆα = ȳ. Næste tri i aalyse af de lieære regressiosmodel er er at forstå hvorda ˆα, ˆβ og ˆσ 2 opfører sig år vi betragter dem som stokastiske variable, dvs. år vi tæker på de som afledt at Y 1,...,Y sarere ed y 1,...,y. Sætig 6.5. De margiale fordeliger af maksimaliserigsestimatorere for middelværdiparametree i e lieær regressiosmodel er ( ( 1 ˆα N (α,σ )), 2 + x2 ˆβ N β, SSD x σ 2 SSD x ). Bevis Vi starter med at fide fordelige af de stokastiske variabel SPD xy = (x i x)(y i Ȳ ). Idet vi observerer at (x i x) = 0, (6.4) har vi at SPD xy = (x i x)y i Ȳ (x i x) = (x i x)y i. (6.5) Vi ser således at SPD xy er e liearkombiatio af de uafhægige, ormalfordelte variable Y 1,...,Y. Det følger af MS, sætig 5.12, at spd xy er ormalfordelt. Ved

118 118 Lieær regressio hjælp af regereglere for middelværdi, får vi E(SPD xy ) = = α = β (x i x)e Y i = = β SSD x (x i x) + β (x i x)(α + βx i ) (x i x)x i (x i x)(x i x) + β x (x i x) ved getage brug af (6.4). Vi ka også udrege variase som Var(SPD xy ) = (x i x) 2 Var(Y i ) = SSD x σ 2 idet alle Y i ere jo har samme varias σ 2. Opsummerede er og dermed er SPD xy N ( SSD x β, SSD x σ 2), ˆβ = SPD xy SSD x ( N β, σ 2 SSD x som øsket. Her har vi brugt at e skalafaktor går direkte id på middelværdie, mes variase skal kvadreres. Vi fider fordelige af ˆα på helt tilsvarede vis. Vi starter med at idse at ˆα = ) ( 1 x ) (x i x) Y i (6.6) SSD x hvor vi har brugt opskrivige af SPD xy fra før. Dermed er ˆα e liearkombiatio af Y i ere, og de er derfor ormalfordelt. Vi ser at E( ˆα) = ( 1 x ) (x i x) (α + βx i ) SSD x = α + β x x SSD x = α. (x i x)(α + βx i )

119 6.2 Maksimum likelihood estimatio 119 Tilsvarede ser vi at Var( ˆα) = = = ( 1 ( ( 1 + x ) 2 (x i x) σ 2 ssd x x2 SSD x hvilket præcis var hvad vi øskede. x2 SSD 2 (x i x) 2 x ) σ 2 2 x ) (x i x) σ 2 SSD x Sætig 6.5 giver os de margiale fordeliger af ˆα og ˆβ, me ikke de simultae fordelig. Ma ka vise at ˆα og ˆβ uafhægige stokatiske variable hvis og ku hvis x = 0. Ma ka desude vise at Ȳ og ˆβ er uafhægige uaset værdie af x. Næste sætig udtaler sig om fordelige af estimatore for variase. Beviset spriges over. Sætig 6.6. De margiale fordelig af maksimaliserigsestimatore for variasparametere i e lieær regressiosmodel er givet ved ˆσ 2 σ 2 χ2 2 Der gælder edvidere at de todimesioale variabel ( ˆα, ˆβ) er uafhægig af ˆσ 2. Det fremgår direkte af sætig 6.5 at ˆα og ˆβ er cetrale estimatorer for α og β. Derimod er E( ˆσ 2 ) = 2 σ 2 så ˆσ 2 er ikke e cetral estimator for σ 2. I geemsit estimeres σ 2 for lavt hvis vi beytter maksimum likelihood estimatore. Dette svarer til hvad vi så i kapitel 4 og 5, og det er også i dette tilfælde emt at korrigere ˆσ 2 og opå et cetralt estimat: vi skal blot ormere med 2 i stedet for i defiitioe af ˆσ 2, og i stedet bruge σ 2 = 1 2 (Y i ˆα ˆβx i ) 2 som estimator. Så er σ 2 σ 2 2 χ2 2, og specielt er E( σ 2 ) = σ 2 som øsket. Det tilsvarede estimat hvor observatioere sættes id beteges som regel s 2, dvs. s 2 = 1 2 (y i ˆα ˆβx i ) 2.

120 120 Lieær regressio De følgede bemærkig præciserer at det er dette estimat ma beytter. Bemærkig 6.7. I de statistiske model fra defiitio 6.1 bruger vi estimatere ˆα = ȳ x SPD xy SSD x, SPD xy ˆβ =, s 2 = 1 SSD x 2 (y i ˆα ˆβx i ) 2. De sade eller teoretiske fordeliger af ˆα, ˆβ og σ 2 er beskrevet ovefor, me afhæger som altid af de ukedte parametre. Vi får estimerede sprediger (stadard errors) for middelværdiestimatorere hvis vi erstatter de sade spredig σ med estimatet s i udtrykket for estimatoreres spredig: SE( ˆα) = s 1 + x2 SSD x, SE( ˆβ) = s SSDx Eksempel 6.8. (Vcf og blodglukose, fortsættelse af eksempel 6.2, side 113) For de 23 observatioer x 1,...,x 23 af blodglukose og de tilsvarede 23 observatioer y 1,...,y 23 af Vcf, får ma de summariske størrelser x = ; ȳ = 1.326; SSD x = ; SPD xy = 9.437, således at estimatere er og ˆα = = 1.098; ˆβ = = s 2 = 23 (y i ȳ ˆβ(x i x)) 2 = , s = De estimerede regressiosliie, ŷ(x) = ˆα + ˆβx, er idteget på figur 6.1 på side 114. De estimerede spredig for ˆα ka bereges til , mes de estimerede spredig for ˆβ er Kofidesitervaller Kofidesitervaller ka fides på samme måde som vi allerede har set det i afsit 3.3, 4.3 og 5.3. Diskussioere fra de tidligere afsit vedrørede kofidesitervaller er selvfølgelig stadig gyldige.

121 6.3 Kofidesitervaller 121 Sætig 6.9. Betragt de statistiske model fra defiitio 6.1. Så er ˆα ± t 2,1 α /2 σ et 1 α kofidesiterval for α, og 1 + x2 (6.7) SSD x σ ˆβ ± t 2,1 α /2 (6.8) SSDx et 1 α kofidesiterval for β. Bemærk at vi u skriver α for sigifikasiveauet for at skele dee fra parametere α. Bevis Vi beviser ku (6.8), da (6.7) bevises på øjagtig samme måde. Det følger af sætig 6.5 og 6.6 at U = ˆβ β σ/ N(0,1), Z = 2 SSD x σ 2 σ 2 χ 2, 2 og at U og Z er uafhægige. Det følger da af defiitioe af t-fordelige i MS, afsit 6.2 at U SSDx ( T = = ˆβ β) Z/( 2) σ er t-fordelt med 2 frihedsgrader. Således er ( SSDx ( P t 2,1 α /2 < ˆβ ) β) < t σ 2,1 α /2 = 1 α eller, hvis vi isolerer β i midte, ( P ) σ ˆβ t 2,1 α /2 < β < ˆβ σ +t 2,1 α /2 SSDx SSDx = 1 α. Dette viser etop at (6.8) er et kofidesiterval for α med kofidesgrad 1 α.

122 122 Lieær regressio Eksempel (Vcf og blodglukose, fortsættelse af eksempel 6.2, side 113) Vi skal bruge 97.5% fraktile i t-fordelige med 2 = 21 frihedsgrader. De viser sig at være Således er ± = ± = (1.232,1.420) ± % kofidesitervaller for α og β = ± = (0.0002,0.0437) Hvis β = 0, svarede til at Vcf ikke afhæger af blodglukose, er det således lidt usadsyligt at vi skulle have observeret de data vi har til rådighed. Bemærk dog at kofidesitervallet for β er tæt på at ideholde ul. 6.4 Hypotesetest I e lieær regressio er ma ofte iteresseret i at teste om resposvariable overhovedet afhæger af de målte baggrudsvariabel x. Vi vil derfor betragte hypotese om at middelværdie af Y ikke afhæger af x. Det er det samme som at teste om β = 0. Vi skriver hypotese som H : β = 0, eller (α,β,σ 2 ) Θ 0 = R {0} (0, ). Uder hypotese er alle Y i N(α,σ 2 ), dvs. vi er tilbage i situatioe fra afsit 4 med e ekelt stikprøve. Ligesom i afsit 4.4 og 5.4 er hypotese ikke e simpel hypotese da parametermægde uder hypotese, Θ 0, ideholder mere ed et ekelt pukt. Vi vil på øjagtig samme måde som i de tidligere afsit gøre følgede: Estimere (α,β,σ 2 ) uder hypotese, dvs. bestemme ( ˆα, ˆβ, ˆσ 2 ) Θ 0 så L y ( ˆα, ˆβ, ˆσ 2 ) L y (α,β,σ 2 ), (α,β,σ 2 ) Θ 0. Det er klart at ˆβ = 0 da det er de eeste mulige værdi. Opskrive kvotietteststørrelse Q(y) = L y( ˆα,0, ˆσ 2 ) L y ( ˆα, ˆβ, ˆσ 2 ).

123 6.4 Hypotesetest 123 Bestemme testsadsylighede ε(y) = P ( Q(Y ) Q(y) ). Afvise hypotese hvis ε(y) < α for et på forhåd fastsat sigifikasiveau og i givet fald kokludere at β er sigifikat forskellig fra 0 med adre ord at resposvariable afhæger af baggrudsvariable. Sætig Betragt de statistiske model givet i defiitio 6.1 og hypotese H : β = 0. Uder hypotese er maksimum likelihood estimatet ( ˆα, ˆβ, ˆσ 2 ) givet ved ˆα = ȳ, ˆβ = 0, ˆσ 2 = 1 (y i ȳ) 2, og fordeligere af de tilsvarede stokastiske variable er ˆα N(α,σ 2 /) og ˆσ 2, og de er uafhægige. Kvotietteststørrelse er givet ved σ 2 χ2 1 og kvotiettestet ka udføres på p-værdie er givet ved ( ˆσ 2 Q(y) = ˆσ 2 t = ) /2 ˆβ s/ SSD x. ε(y) = 2P ( T t ) = 2 (1 F t 2 ( t ) ) hvor T er t-fordelt med 2 frihedsgrader og F t 2 er fordeligsfuktioe for dee fordelig. Bevis Uder hypotese har vi modelle fra defiitio 4.1 for e ekelt stikprøve med ukedt varias, og vi får derfor direkte fra sætig 4.3 estimatorere og deres fordelig. Vi reger derefter på kvotietteststørrelse Q(y). Bemærk at 1 2 ˆσ 2 i ˆα (y ˆβx i ) 2 = 2

124 124 Lieær regressio og at 1 i ȳ) 2 ˆσ (y 2 = 2 2 således at ekspoetialleddee i tællere og ævere af Q(y) er es. Vi får således Q(y) = L y( ˆα,0, ˆσ 2 ) L y ( ˆα, ˆβ, ˆσ 2 ) = ( ) ˆσ 2 /2. Vi magler at vise at kvotiettestet ka udføres som et test på t, dvs. at vise udtrykket for p-værdie. For at lette otatioe, idfører vi størrelsere SSDx ˆβ u = σ, z = 1 σ 2 ˆσ 2 (y i ˆα ˆβx i ) 2. Så er og t = u z/( 2), ( ) 2/ Q(y) = (y i ˆα ˆβx i ) 2 σ 2 z (y i ȳ) 2 = (y i ȳ) 2 (6.9) Husk at ˆα + ˆβ x = ȳ. Derfor er y i ȳ ˆβ(x i x) = y i ˆα ˆβx i, og summe i ævere af (6.9) ka omskrives til (y i ȳ) 2 = = ( y i ȳ ˆβ(x i x) + ˆβ(x ) 2 i x) ( y i ȳ ˆβ(x ) 2 i x) + ˆβ 2 (x i x) 2 +2 = σ 2 z + ˆβ 2 SSD x +2 ˆβ ( y i ȳ ˆβ(x i x)) ˆβ(xi x) = σ 2 z + σ 2 u ˆβ(SPD xy ˆβ SSD x ) = σ 2 z + σ 2 u 2. ( y i ȳ ˆβ(x ) i x) (x i x)

125 6.4 Hypotesetest 125 Vi får således, øjagtigt som i de forrige kapitler, at ( Q(y) ) 2/ = σ 2 z σ 2 z + σ 2 u 2 = ) 1 ) 1 (1 + u2 = (1 + t2, z 2 dvs. at Q(y) er e aftagede fuktio af t 2. Hvis vi beteger de tilhørede stokastiske variable med Q(Y ) og T, har vi derfor ε(y) = P ( Q(Y ) Q(y) ) = P ( T 2 t 2) = 2P ( T t ) Her er T = U Z/( 2), hvor U og Z er de stokastiske variable hvis udfald er u og z, dvs. SSDx ˆβ U = σ, Z = 1 σ 2 (Y i ˆα ˆβx i ) 2, Uder hypotese, dvs. år β = 0, følger det af sætig 6.5 og 6.6 at U N(0,1) og Z χ 2 2, og at de er uafhægige. Det følger således af defiitioe på e t-fordelig i MS, afsit 6.2 at T er t-fordelt med 2 frihedsgrader, således at p-værdie skal bereges i t-fordelige. På samme vis som vi har set i de foregåede kapitler består testet altså i at berege de observerede værdi af T -teststørrelse, dvs. t, og berege hvor ekstremt værdie ligger i t-fordelige med 2 frihedsgrader. Som før giver dette ituitivt god meig: Hypotese bør afvises hvis ˆβ afviger meget fra ul og bør således baseres på ˆβ. Divisio med de estimerede spredig ka opfattes som e ormerig der trasformerer teststørrelse til e kedt skala og således tager højde for variatioe i data. Ligesom ved de tidligere hypotesetest, plejer ma at opdatere estimatere hvis hypotese ikke ka afvises, dvs. agive estimatet for α til ȳ, β til 0 og estimatet for σ 2 til SSD y /( 1). Kommetarere fra afsit 3.4 vedrørede sprogbrug, fejltyper og sammehæge mellem kofidesitervaller og hypotesetest gælder uædret. Specielt vil 1 α kofidesitervallet for β ideholde værdie 0 hvis og ku hvis hypotese H : β = 0 ikke ka afvises på sigifikasiveau α.

126 126 Lieær regressio Eksempel (Vcf og blodglukose, fortsættelse af eksempel 6.2, side 113) At teste om Vcf afhæger af blodglukose svarer til hypotese H : β = 0. Værdie af t-teststørrelse er og p-værdie er t = ˆβ s/ = SSD x 0.217/ = ε(y) = 2P(T 2.101) = hvor T t 21. Der er således svag evides mod hypotese som afvises på 5% sigifikasiveau. Bemærk dog at p-værdie er tæt på 0.05, hvilket stemmer overes med at de edre græse i kofidesitervallet er tæt på ul. Koklusioe er derfor at Vcf formetlig afhæger af blodglukose, selvom evidese ikke er stor. Dette ka ete skyldes at vi ret tilfældigt har observeret data der er lieært i blodglukose selvom der ikke er e virkelig sammehæg, me det ka også skyldes at datasættet er for lille til at give statistisk sigifikas for e reel sammehæg. 6.5 Regressiosliie og prædiktio Som allerede vist, er estimatet for regressiosliie givet ved ŷ(x) = ˆα + ˆβx. Hvis vi betragter ˆα og ˆβ som stokastiske variable giver dette for fast x e y stokastisk variabel Ŷ (x) = ˆα + ˆβx. Vi skal u udersøge fordelige af dee variabel. Fra de sædvalige regeregler for middelværdi følger det at E ( Ŷ (x) ) = E( ˆα) + E( ˆβ)x = α + βx. Det er sværere at bestemme variase fordi ˆα og ˆβ ikke er uafhægige (medmidre x = 0), me det faktisk muligt at bestemme varias og fordelig af Ŷ (x). Sætig For givet x er fordelige af Ŷ (x) givet ved ( )) 1 Ŷ (x) N (α + βx,σ 2 (x x)2 +. SSD x

127 6.5 Regressiosliie og prædiktio 127 Bevis Husk at ˆα + ˆβ x = Ȳ (regressiosliie går geem geemsitspuktet), således at Ŷ (x) = ˆα + ˆβ x + ˆβ(x x) = Ȳ + ˆβ(x x). Efter sætig 6.5 blev det bemærket at Ȳ og ˆβ er uafhægige. Begge stokastiske variable er desude ormalfordelte, så det følger at Ŷ (x) også er ormalfordelt. Vi har allerede fudet middelværdie, me magler at bestemme variase. På grud af uafhægighede får vi Var ( Ŷ (x) ) ( ) = Var(Ȳ ) + Var ˆβ(x x) = σ 2 hvilket fuldeder beviset. + σ 2 SSD x (x x) 2, Ma ka dog godt slippe udeom at beytte resultatet om uafhægighed mellem Ȳ og ˆβ. Ved at kombiere (6.5) og (6.6) og reducere, får vi ( 1 Ŷ (x) = + (x ) i x)(x x) Y i. SSD x Dette er e liearkombiatio af de uafhægige stokastiske variable Y 1,...,Y. Liearkombiatioe er ige ormalfordelt, og de sædvalige regeregler giver efter lidt regeri middelværdi og varias. Sætige viser at Ŷ (x) er e cetral estimator for α + βx, dvs. for middelværdie af Y for fast x. Bemærk at variase for Ŷ (x) afhæger af x og er midst for x = x, hvilket giver god meig: regressiosliie er bedst bestemt i det område hvor vi har flest observatioer, hvorimod usikkerhede stiger jo lægere vi kommer væk fra x. På samme måde som vi så i afsit 6.3, ka vi kostruere et kofidesiterval for værdiere på regressiosliie ved at betragte de stokastiske variable U = Ŷ (x) α βx N(0,1), 1 (x x)2 σ + SSD x Z = T = ( 2)s2 σ 2 χ 2, 2 U t 2. Z/( 2) Prøv selv at geemføre argumetere. Vi får følgede kofidesiterval for regressiosliie med kofidesgrad α : 1 (x x)2 Ŷ (x) ± t 2,1 α /2 σ +. SSD x

128 128 Lieær regressio Eksempel (Vcf og blodglukose, fortsættelse af eksempel 6.2, side 113) De estimerede regressiosliie er ŷ(x) = ˆα + ˆβx = x. Et 95% kofidesiterval for regressiosliie i puktet x er givet ved 1 (x ) x ± I figur 6.2 ses regressiosliie idteget med puktvise 95% kofidesgræser som Vcf (%/sec) blodglukose (mmol/l) Figur 6.2: Regressiosliie (fuldt optrukket), puktvise kofidesitervaller (stiplet) og puktvise prædiktiositervaller for blodglukose-vcf data fra eksempel 6.2. Se også eksempel 6.8, 6.10, 6.12, 6.14 og stiplede kurver. Bemærk hvorda kofidesgræsere bliver bredere mod sidere i figure, hvor vi er lægere væk fra x. At liie er mere usikker lægere væk fra midte er aturligt: hvis ma vipper liie e smule er effekte størst i sidere, hvor vi ku har lidt iformatio. Hvis forsøget havde været større, dvs. hvis havde været større, ville også SSD x være større (medmidre de ye x er alle er lig x). Uder alle omstædigheder ville regressiosliie være mere sikkert bestemt. Dette ses i udtrykket for variase af estimatet for regressiosliie. I figur 6.2 ville det betyde at kofidesgræsere ville ligge tættere omkrig regressiosliie. Dette sker selvom de ekelte observatioers variatio omkrig liie er de samme. Kofidesgræsere siger således itet om hvor tæt på regressiosliie vi ka forvete at fide de ekelte observatioer, me agiver ku hvor sikre vi ka være på estimatet for middelværdie.

129 6.5 Regressiosliie og prædiktio 129 Nogle gage øsker ma faktisk at forudsige værdier af Y for e give værdi af x, heruder at agive et iterval hvor e y observatio af Y med e give sadsylighed vil ramme. Dette kaldes at prædiktere, der egetlig betyder at forudsige. Vi ka for eksempel være iteresserede i at agive et iterval hvor vi forveter at e y observatio vil falde med sadsylighede 0.95, for e give værdi af x. Sætig Lad (x 1,y 1 ),...,(x,y ) være sammehørede observatioer fra de statistiske model fra defiitio 6.1. Som prædiktor for e y observatio Z med tilhørede værdi x, hvor Z er uafhægig af de tidligere observatioer, beyttes de estimerede middelværdi, Ẑ = ˆα + ˆβx. Et tilhørede prædiktiositerval på iveau 1 α er givet ved Ẑ ± t 2,1 α /2 s (x x)2 SSD x. Bevis Ifølge modelle er Z N(α +βx,σ 2 ), og de ye observatio atages uafhægig af Y 1,...,Y, og dermed også af ˆα og ˆβ, dvs. af Ẑ. Vi betragter u de stokastiske variabel Z Ẑ, der umiddelbart ses at have middelværdi ul og varias Var ( Z Ẑ ) = Var(Z) + Var ( Ẑ ) = σ 2 + σ 2 ( 1 + (x x)2 SSD x De er desude ormalfordelt, da det jo er e liearkombiatio af uafhægige ormalfordelte variable. Vi ka således kostruere de stokastiske variable ). U = V = T = Z Ẑ N(0,1) σ (x x)2 + SSD x ( 2)s2 σ 2 χ 2 2 U V /( 2) t 2. Reste af argumetere er overladt til læsere, da det følger øjagtig de samme pricipper som vi allerede har set flere gage. Af formle for prædiktiositervallet fremgår det at ligegyldigt hvor stor stikprøve er, vil lægde af kofidesitervallet aldrig blive midre ed to gage fraktile gage de estimerede spredig, s, og s vil for e stor stikprøve være tæt på de sade

130 130 Lieær regressio værdi σ. Det skyldes at vi ku ka reducere de variatio, der er kyttet til vores forsøg, hvorimod vi ikke ka reducere de aturlige variatio. Der er således stor forskel på at lave kofidesitervaller for middelværdier og parametre og på at lave prædiktiositervaller for udfaldet af ye stokastiske variable. Eksempel (Vcf og blodglukose, fortsættelse af eksempel 6.2, side 113) Atag at der kommer e y diabetespatiet id til læge med e blodglukose på 15 mmol/l. Læge vil gere prædiktere patietes Vcf. Vi får Ẑ = ˆα + ˆβx = = Et prædiktiositerval for dee patiet er givet ved Ẑ ± t 2,1 α /2 s (x x)2 + SSD x = ± = (0.956,1.898) ( ) I figur 6.2 ses regressiosliie idteget med puktvise 95% prædiktiosgræser som prikkede kurver. Som forvetet, og som det fremgår af formlere, er prædiktiositervallere altid bredere ed kofidesitervallet (de stiplede kurver). Bemærk at alle observatioere falder idefor kurvere, me i geemsit vil vi forvete at 95% af observatioere falder idefor prædiktioskurvere. 6.6 Residualer og modelkotrol I de lieære regressiosmodel fra defiitio 6.1 er der gjort ogle atagelser, og vores koklusioer omkrig estimatorer, kofidesitervaller og test gælder ku hvis atagelsere er rimelige. Hvis data ikke er geereret af modelle keder vi ikke egeskabere og ka derfor ikke stole på resultatere fra aalyse. Det er derfor vigtigt at foretage modelkotrol. Atagelsere ka opdeles i atagelser omkrig middelværdistrukture, dvs. de systematiske del af modelle, og atagelser vedrørede de tilfældige del. Vi har følgede atagelser, hvor de tre sidste vedrører de tilfældige variatio: Middelværdie af Y i er e lieær fuktio af x i.

131 6.6 Residualer og modelkotrol 131 Y 1,...,Y er uafhægige. Y i er ormalfordelt. Spredige af Y i afhæger ikke af x. For at kotrollere disse atagelser (udtaget uafhægighede), defierer vi residualere, der er observatioeres afvigelser fra de estimerede regressiosliie: e i = y i ˆα ˆβx i. I figur 6.3 er residualere fra eksempel 6.14 på side 128 om diabetes agivet ved de lodrette streger, der forbider de observerede værdier med de prædikterede værdier. Vcf (%/sec) blodglukose (mmol/l) Figur 6.3: Residualere er agivet ved de lodrette afstade til de estimerede regressiosliie. Fra eksempel 6.14 på side 128. Vi bør kotrollere om residualere har systematiske afvigelser fra ul, hvilket ikke må forveksles med om puktere ligger tæt på liie eller ej. Afstade fra liie er et spørgsmål om størrelse af spredige. Vi ka også se på om de øvrige atagelser syes at være opfyldt. Vi ka opfatte residualere som stokastiske variable, E i = Y i ˆα ˆβx i. Da residualere er liearkombiatioer af ormalfordelte variable er de ige ormalfordelte, og de har middelværdi E(E i ) = E (Y i ˆα ˆβx ) i = α + βx i α βx i = 0.

132 132 Lieær regressio Variase har vi ikke redskaber til at udrege på dette kursus, da Y i jo hverke er uafhægig af ˆα eller ˆβ. Det betyder at Var (Y i ˆα ˆβx ) ( ) i Var(Y i ) + Var( ˆα) + Var ˆβxi. Vi øjes derfor med at postulere at variase er givet ved ( Var(E i ) = σ (x i x) 2 ). SSD x Bemærk at variase aftager med afstade mellem x i og x, modsat hvad der sker med variase af de estimerede regressiosliie. Dette skyldes at estimatet for regressiosliie er mere følsomt overfor pukter, der ligger lagt fra x ed pukter i midte af itervallet. Selv med de samme tilfældige variatio over hele itervallet af x-værdier, vil de beregede residualer i yderpuktere derfor blive midre. For at tage højde for det, betragter ma i stedet de stadardiserede residualer: R i = E i σ 1 1 (x i x) 2 SSD x der er stadard ormalfordelte, R i N(0,1), og således har samme spredig uaset residualer estimeret Vcf (%/sec) stadardiserede residualer estimeret Vcf (%/sec) Figur 6.4: Residualer plottet mod prædikterede værdier fra aalyse i eksempel 6.14 side 128. Til vestre er det de rå residualer, til højre stadardiserede residualer. værdie af x. Dette gælder vel at mærke hvis atagelsere i modelle er korrekte. I praksis idsættes s som estimat for de ukedte spredig σ.

133 6.6 Residualer og modelkotrol 133 I figur 6.4 er residualere, heholdsvis de stadardiserede residualer teget op mod de prædikterede værdier fra eksempel 6.14 på side 128. Bortset fra ehedere på y- akse liger de to figurer hiade meget, og i dette tilfælde betyder det ikke oget om ma ser på de rå residualer eller stadardiserer dem først. Det skyldes at der er mage pukter over hele itervallet og liie derfor er godt bestemt. Residualere er ikke uafhægige, me de er æste uafhægige, og ma ka i modelkotrolle godt atage tilærmelsesvis uafhægighed. Modelkotrol ka foretages ved at vurdere om de stadardiserede residualer ka atages at være stadard ormalfordelte. Der er forskellige tig, ma skal være opmærksom på, relateret til hver af atagelsere ovefor. Liearitetsatagelse kotrolleres ved at plotte de stadardiserede residualer mod de prædikterede værdier som i figur 6.4. Hvis liearitetshypotese holder, skal puktere ligge tilfældigt omkrig ul, og sprede sig lodret som stadard ormalfordelte variable uaset hvor på førsteakse ma kigger, idet ma ser bort fra afhægighede mellem residualere. Det ser i dette tilfælde ud til at passe meget godt. Afvigelser fra dette møster fortæller oget om, hvad der er galt med hypotese. Hvis for eksempel residualere typisk er positive for små og store værdier af de prædikterede værdier, me egative for værdier midt i itervallet, tyder det på at sammehæge ikke er lieær, me måske kvadratisk eller ekspoetiel. Dette er illustreret til vestre i figur 6.5. stadardiserede residualer stadardiserede residualer prædikterede værdier prædikterede værdier Figur 6.5: Eksempler på residualer plottet mod prædikterede værdier. Til vestre ses et systematisk møster omkrig ul, til højre ses at variase vokser med middelværdie.

134 134 Lieær regressio Atagelse om at spredige ikke afhæger af middelværdie ka kotrolleres ved at se på om residualere fordeler sig i e lige bred sky over hele itervallet. Hvis de for eksempel har trompetform, tyder det på at spredige vokser med middelværdie, og atagelse om samme σ 2 for alle x ka ikke accepteres. Dette er illustreret til højre i figur 6.5. Det ka idimellem løses ved e trasformatio af data, for eksempel således at log(y) beyttes som respodvariabel i stedet for y. Sommetider bør de foreklarede variabel x også trasformeres. Ma skal selvfølgelig huske at kotrollere om atagelsere holder for modelle for de trasformerede variable. Atagelse om at data er ormalfordelte ka kotrolleres ved et histogram eller et QQ-plot af de stadardiserede residualer, på samme måde som i afsit 4.5 og 5.5. Dette er illustreret i figur 6.6 for aalyse i eksempel 6.14 side 128 om diabetes. Normalfordeligsatagelse er acceptabel i dette eksempel. Bemærk at det ikke gi- Tæthed Stadardiserede residualer Empiriske fraktiler N(0,1) fraktiler Figur 6.6: Histogram og QQ-plot for de stadardiserede residualer fra aalyse i eksempel 6.14 side 128. ver meig at lave histogrammer og QQ-plots af y ere, idet de ikke har samme middelværdi. 6.7 Eksempel: CAPM I dette afsit geemgår vi et eksempel mere om lieær regressio. De iteressate hypotese er om regressiosliie skærer y-akse i ul. Eksempel (Capital Asset Pricig Model) I fiasielle sammehæge beyttes the Capital Asset Pricig Model (CAPM) til at bestemme det forvetede afkast for

135 6.7 Eksempel: CAPM 135 et givet aktiv, såsom aktier i e bestemt virksomhed. Modelle blev itroduceret i 1960 ere af flere forskellige forskere uafhægigt af hiade, og udløste Nobelprise i økoomi i 1990 til Harry Markowitz, Merto Miller og William Sharpe. Det forvetede afkast modelleres som fuktio af markedets bevægelser og det såkaldte risikofri aktiv. Det risikofri aktiv er afkastet på et aktiv, hvor ma på forhåd keder afkastet. Det svarer til at sætte pegee i bake til e kedt rete i stedet for at ivestere dem. Det siger sig selv at afkastet er midre ed hvad ma vil forvete fra e ivesterig, da ma jo ikke risikerer oget ellers er der ige grud til at ivestere! Lad r betege afkastet af det risikofri aktiv, markedsafkastet beteges med M, og afkastet af et bestemt aktiv beteges med R. CAPM atager at E(R r) = β E(M r). (6.10) Her er β specifik for det kokrete aktiv vi er iteresseret i og repræseterer hvor kraftigt aktivet reagerer på markedets bevægelser. Ma ka dagligt fide estimater af β for e lag række aktiver i fiasielle aviser. Estimatere beyttes af ivestorer til at sammesætte deres ivesteriger så hesigtsmæssigt som muligt. Sammehørede værdier af de tre størrelser r, M og R ka måles til forskellige tidspukter, og opgives typisk som måedlige afkast. Vi defierer u variablee Y i = R i r i og x i = M i r i, hvor subidex i agiver tidspuktet. Modelle (6.10) passer da id i modelle for e lieær regressio, defiitio 6.1, bortset fra to tig: Det statistiske udsag i CAPM er at regressiosliie skærer y-akse i ul, hvilket svarer til at α = 0. Der er gode fiasierigsteoretiske argumeter for dette me dem må I vete med til seere kurser. Vi vil teste om atagelse virker rimelig udfra data. Bemærk at dette er et adet test ed det vi har behadlet tidligere i kapitlet, hvor vi ku har testet for om hældige β er forskellig fra ul. Der er desværre e ade afvigelse, som er sværere at hådtere. Der er ige grud til at tro at måliger til tætliggede tidspukter skulle være uafhægige! Hvis for eksempel aktivets afkast har været højt i marts, vil vi også forvete at det ligger højt i april, også udover hvad der ka forklares med markedsafkastet. Vi vil derfor ku aalysere data med tre måeders mellemrum og smide de mellemliggede datapukter væk, i håb om at disse data er ogelude uafhægige. Det er ikke oge optimal løsig, me det bedste vi ka gøre med de redskaber vi har til rådighed på dette kursus. På seere kurser vil metoder til at hådtere afhægighed blive behadlet.

136 136 Lieær regressio I figur 6.7 er data for Carlsberg aktie i periode fra juli 1985 til oktober 2009 plottet. Data er måedlige afkast i % me ku opgivet med tre måeders mellemrum. Data består af 98 sammehørede måliger af Y i = R i r i, beteget y 1,...,y 98, og x i = M i r i, beteget x 1,...,x 98. Observatioere y 1,...,y 98 betragtes som realisatioer af stokastiske variable Y 1,...,Y 98 som atages at være uafhægige og ormalfordelte med varias σ 2 og middelværdier α + βx i. Udfra figure ka sammehæge mellem Carlsberg akties afkast og markedsafkastet udmærket være lieær. Derudover ser det ud til at regressiosliie kue skære y-akse i ul, da puktet (0,0) lader til at ligge meget tæt på de estimerede regressiosliie. Bemærk e ekstrem observatio ede i vestre hjøre, hvor både Carlsberg akties afkast og markedsafkastet er meget egativt. Dette er målige i oktober 2008 det tidspukt hvor de fiasielle krise var ved at ramme Damark, efter at være begydt i USA. Carlsberg afkast risikofrit aktiv Markedsafkast risikofrit aktiv Figur 6.7: Sammehæg mellem det måedlige afkast af Carlsberg aktie og markedsafkastet. De rette liie er de estimerede regressiosliie. For de 98 observatioer x 1,...,x 98 af markedsafkastet og de tilsvarede 98 observatioer y 1,...,y 98 af Carlsberg akties afkast, viste det sig at x = ; SSD x = ȳ = ; SPD xy = (x i x) 2 = (y i ȳ)(x i x) =

137 6.7 Eksempel: CAPM 137 således at estimatere er og ˆα = ; ˆβ = = s 2 = 98 (y i ˆα ˆβx i ) 2 = , s = Estimatoreres fordelig er som agivet i sætig 6.5 og 6.6. De estimerede sprediger (stadard errors) er 1 SE( ˆα) = s + x2 1 = SSD x = , og SE( ˆβ) = s = = SSDx De estimerede regressiosliie, ŷ(x) = ˆα + ˆβ(x x), er idteget på figur 6.7. I figur 6.8 er de sædvalige modelkotroltegiger plottet. I vestre plot er de stadardiserede residualer teget op mod de prædikterede værdier. Puktere lader til at ligge tilfældigt omkrig ul, og sprede sig lodret som stadard ormalfordelte variable uaset hvor på førsteakse ma kigger, som de bør. Bemærk at der er flere pukter tæt ved ul ed lagt fra, og det er derfor aturligt at se e lidt større spredig her. Der er et ekelt ekstremt residual, som stammer fra de føromtalte målig fra oktober I højre plot er teget et QQ-plot af residualere. Normalfordeligsatagelse er acceptabel i dette eksempel, og vi ka roligt fortsætte vores aalyser. For at berege 95% kofidesitervaller for parametree, behøver vi 97.5% fraktile i t-fordelige med 2 = 96 frihedsgrader. De er Således er ± = ± = ( ,1.3796) og ± = ± = (0.5715,1.0483) 95% kofidesitervaller for α og β. Hvis β = 0 svarede til at Carlsberg aktie ikke afhæger af markedets øvrige bevægelser er det således usadsyligt at vi skulle have observeret de data vi har

138 138 Lieær regressio Stadardiserede residualer Empiriske fraktiler Estimeret markedsafkast risikofrit aktiv N(0,1) fraktiler Figur 6.8: Stadardiserede residualer plottet mod prædikterede værdier og et QQ-plot for de stadardiserede residualer fra aalyse af Carlsberg aktie. til rådighed, da ul jo ikke er ideholdt i kofidesitervallet for β. Vi ved derfor allerede at et test for om hældige er ul vil være statistisk sigifikat, me vi ka ikke umiddelbart se p-værdie udfra kofidesitervallet. Resultatet er ikke overraskede det ville være mærkeligt hvis Carlsberg aktie overhovedet ikke fulgte markedets øvrige bevægelser. Vi vil u teste om hældige ka være ul, som vi har gjort tidligere i kapitlet. Dette svarer til hypotese H : β = 0. Værdie af t-teststørrelse er og p-værdie er t = ˆβ s/ = SSD x / = ε(y) = 2P(T ) = 10 9 hvor T t 96. Der er således stærk evides mod hypotese som afvises på 5% sigifikasiveau, som vi allerede vidste fra kofidesitervallet. Koklusioe er at Carlsberg aktie følger markedets øvrige bevægelser, som agivet i modelle. Husk at CAPM atager at regressiosliie skærer y-akse i ul, svarede til at middelværdie af afkastet af aktivet ikke er større ed det risikofri aktiv, hvis markedets geerelle afkast heller ikke er større ed det risikofri aktiv. Det er således iteressat at teste om α ka atages at være lig β x. For at teste hypotese H : α = β x ka vi som vi allerede har set flere gage gøre følgede: estimere parametree uder hypotese, opskrive kvotietteststørrelse, bestemme p-værdie og til sidst vurdere om hypotese ka accepteres eller skal afvises, afhægigt af de fude p-værdi. Vi vil

139 6.7 Eksempel: CAPM 139 skyde e gevej, og de flittige læser ka selv udføre de relevate beregiger og se at ma kommer frem til det samme resultat. Dette er stillet som e opgave. I afsit 6.5 fadt vi fordelige af de stokastiske variabel Ŷ (x) for fast x, dvs. de estimerede regressiosliie i et givet pukt x. Vi er iteresserede i puktet x = 0 og har at ( )) 1 Ŷ (0) N (α,σ 2 + x2. SSD x ( ( )) Vi har derfor at Ŷ (0) N 0,σ x2 SSD x uder hypotese H : α = 0. Betragt u de stokastiske variable U = σ Ŷ (0) 1 + x2 SSD x N(0,1), Z = T = ( 2)s2 σ 2 χ 2 2, U Z/( 2) = ˆα 1 s + t 2, x2 SSD x hvor de agive fordeliger er uder hypotese. Fordelige af T følger fordi U og Z er uafhægige. Vi ka derfor udføre et test på de observerede værdi af T og vurdere de i t-fordelige med 2 frihedsgrader, og fider at p-værdie er givet ved ε(y) = 2P ( T t ) = 2 (1 F t 2 ( t ) ). I eksemplet med Carlsberg aktie fås t-teststørrelse og p-værdie er t = ˆα 1 s + = x2 SSD x ε(y) = 2P ( T ) = = Dette er e meget høj p-værdi! Vi accepterer derfor hypotese dvs. disse data giver evides til CAPM. Da vi har accepteret hypotese skal vi opdatere vores estimater. Likelihoodfuktioe

140 140 Lieær regressio uder hypotese er L y : R (0, ) R L y (β,σ 2 1 ) = (2πσ 2 ) /2 exp ( 1 2σ 2 (y i βx i ) 2 ). På tilsvarede måde som i afsit 6.2 ka et maksimum likelihood estimat for β fides ved at miimere der har løsige (y i βx i ) 2 ˆβ = y ix i. x2 i Ligeledes ka ma emt fide maksimum likelihood estimatet for σ 2, ˆσ 2 = 1 ( y i ˆβx i ) 2. Reg selv efter! Som sædvalig beyttes i stedet det cetrale estimat Det ka vises at estimatorere s 2 = 1 1 ˆβ = Y ix i, σ 2 = 1 x2 i 1 ( y i ˆβx i ) 2. (Y i ˆβx i ) 2 er uafhægige, og at deres margiale fordeliger er givet ved ( σ ˆβ 2 N β, ), σ 2 σ 2 1 χ2 1. x2 i Bemærk at vi u dividerer med 1 i variasestimatet fordi ˆσ 2 σ 2 χ 1 2. Vi estimerer ku e middelværdiparameter og mister derfor ku e frihedsgrad. I eksemplet med Carlsberg aktie fås 98 y i x i = ; 98 x 2 i =

141 6.7 Eksempel: CAPM 141 således at estimatere er ˆβ = = , s2 = 98 (y i ˆβx i ) = , s = De estimerede spredig af ˆβ er SE( ˆβ) = s/ xi 2 = Bemærk at estimatere stort set er de samme som før. Dette er edu et udtryk for at hypotese om at regressiosliie skærer y-akse i ul er meget plausibel. De estimerede regressiosliie, ŷ(x) = ˆβx ka faktisk ikke skeles fra regressiosliie fra de fulde model idteget på figur 6.7. Det er let at vise at et 1 α kofidesiterval for β er givet ved For Carlsberg aktie fås at s ˆβ ± t 1,1 α /2. x2 i ± = (0.5775,1.0422) er et 95% kofidesiterval for β. De estimerede regressiosliie er ŷ(x) = ˆβx = x og de estimerede fordelig af Ŷ (x) er ( ( )) ( ( )) x N ˆβx,s 2 2 x 2 = N x, x2 i Et 95% kofidesiterval for regressiosliie i puktet x er givet ved x x ± I figur 6.9 ses regressiosliie idteget med puktvise 95% kofidesgræser som stiplede kurver. Bemærk at der ige usikkerhed er for estimatet af regressiosliie i x = 0. Det skyldes at modelle atager at værdie her er ul dvs. vi ikke estimerer oget i dette pukt. Atag at der kommer e y målig af markedsafkastet og det risikofri aktiv således at differese er 10%. Vi vil da gere prædiktere Carlsberg akties afkast. Vi får Ẑ = ˆβx = =

142 142 Lieær regressio Carlsberg afkast risikofrit aktiv Markedsafkast risikofrit aktiv Figur 6.9: Regressiosliie (fuldt optrukket), puktvise kofidesitervaller (stiplet) og puktvise prædiktiositervaller for Carlsberg aktie. Et 95% prædiktiositerval for afkastet af Carlsberg aktie fratrukket det risikofri aktiv er til dette tidspukt givet ved Ẑ ± t 1,0.975 s 1 + x2 = ± SSD x = ( , ). I figur 6.9 er de puktvise 95% prædiktiosgræser vist som prikkede kurver. Læg mærke til at 7 observatioer falder udefor græsere. I geemsit vil vi forvete at 5% af observatioere falder udefor prædiktioskurvere, hvilket passer udmærket da vi har 98 observatioer i alt. Til sidst bør bemærkes at modelle ikke ka fage ekstreme begiveheder såsom pludseligt opståede fiasielle kriser, der her giver sig udtryk i de ekstreme målig fra oktober Ma kue overveje at getage aalyse hvor dee målig udelades for at se hvor stor idflydelse de har på resultatet. Hvis resultatet ikke ædrer sig æveværdigt ka ma stadig stole på koklusioere. 6.8 Sammefatig og perspektiv Vi har diskuteret statistisk aalyse af uafhægige ormalfordelte observatioer, hvor middelværdie afhæger lieært af e forklarede variabel. Ofte er ma iteresseret i at estimere sammehæge, vurdere om der faktisk er e sammehæg mellem

143 6.9 R 143 de forklarede variabel og resposvariable, eller foretage prædiktioer. Aalyse sammefattes med estimater og kofidesitervaller for parametree, der idgår i beskrivelse af middelværdiere. De aturlige hypotese er ofte om parametere der agiver sammehæge med de forklarede variabel er lig ul. Kostruktioe af kofidesitervaller og udførelse af hypotesetest er begrebsmæssigt de samme som for modellere for e og to stikprøver. Atagelsere for at lave aalyse bør altid tjekkes før ma drager koklusioer. Atagelsere er at middelværdie afhæger lieært af e forklarede variabel, og at observatioere er uafhægige, ormalfordelte og med samme varias uaset værdie af de forklarede variabel. Til sidst er Capital Asset Pricig modelle blevet geemgået. Vi har testet for om iterceptet ka atages at være ul, og estimatorer og deres fordeliger er fudet i de reducerede model der skærer y-akse i ul. 6.9 R Vi bruger datasættet om sammehæge mellem blodkglukose og Vcf (eksempel 6.2, side 113) som illustratio. Atag at data foreligger som to vektorer, gluk og vcf: > gluk # Variabel der bruges som x [1] [12] [23] 9.5 > vcf # Variabel der bruges som y [1] [12] [23] 1.70 Parameterestimater, kofidesitervaller og test Arbejdsheste ved lieær regressio og også ved mage adre modeller er fuktioe lm. Det simpleste kald til lm er følgede: > lm(vcf gluk) # Regressio af vcf på gluk. Call: lm(formula = vcf gluk)

144 144 Lieær regressio Coefficiets: (Itercept) gluk På vestre side af skrives resposvariable, altså de variabel der skal bruges som y, på højre side skrives de forklarede variabel, altså de variabel der skal bruges som x. Vi aflæser estimatere fra outputtet: ˆα = og ˆβ = Estimatet for α står uder (Itercept) for α er jo etop skærige med x-akse. Estimatet for β står uder gluk fordi hældigsparametere beskriver effekte af dee variabel. Umiddelbart giver lm ku estimatere, me i virkelighede laver kaldet et modelobjekt som kombieret med adre fuktioer emt giver os de størrelser vi måtte have brug for. Det emmeste er at give modelobjektet et av og så arbejde videre med det. Nedefor defieres for eksempel modelobjektet model. Fuktioe summary er særligt vigtig: > model <- lm(vcf gluk) > summary(model) Call: lm(formula = vcf gluk) Residuals: Mi 1Q Media 3Q Max Coefficiets: Estimate Std. Error t value Pr(> t ) (Itercept) e-09 *** gluk * --- Sig. codes: 0 *** ** 0.01 * Residual stadard error: o 21 degrees of freedom Multiple R-squared: ,Adjusted R-squared: F-statistic: o 1 ad 21 DF, p-value: De vigtigste del af outputtet står uder Coefficiets. Der er e liie for α, (Itercept), og e liie for β, gluk. For hver af parametree agives estimatet,

145 6.9 R 145 me også de estimerede spredig for estimatore (stadard error), værdie af t- teststørrelse for hypotese om at de tilhørede parameter er ul, og p-værdie for dette test. For β aflæser vi de estimerede spredig til Hypotese H : β = 0 giver aledig til t = og e p-værdi på Vi gekeder tallee fra eksempel 6.8 og 6.12 (side 120 og 126). Tilsvarede giver hypotese H : α = 0 aledig til t = og e p-værdi der er midre ed Dette er uiteressat vi iteresserer os slet ikke for dee hypotese me det ka R jo ikke vide. Nederst i outputtet fider vi Residual stadard error, dvs. estimatet s for σ, her s = og atallet af frihedsgrader, her 21, sammelig ige med eksempel 6.8 (side 120). Øverst i outputtet fider vi summariske oplysiger om residualere. Kofidesitervaller for α og β ka bereges mauelt ved hjælp af estimater, estimerede sprediger og e t-fraktil. For β får vi for eksempel: > qt(0.975, 21)* # Nedre græse i KI [1] > qt(0.975, 21)* # Øvre græse i KI [1] Edu emmere er det at bruge fuktioe cofit, som giver kofidesitervallet for begge parametre. Kofidesgrade ka ædres med argumetet level. > cofit(model) 2.5 % 97.5 % (Itercept) gluk Plot af data Et scatterplot med data laves med plot. Regressiosliie tilføjes emmest bruge ablie. Følgede kommadoer giver (påær layout) grafe i figur 6.1: > plot(gluk, vcf) # Scatterplot > ablie(model) # Tilføjer estimeret regr.liie Prædiktio Værdier på de fittede regressiosliie og tilhørede kofides- eller prædiktiositervaller fås med fuktioe predict. Hvis vi er iteresserede i prædiktioer for glukoseværdiere 8 og 15 ka vi bruge følgede kommadoer:

146 146 Lieær regressio > ewdata <- data.frame(gluk=c(8,15)) # Nyt datasæt > ewdata gluk > predict(model, ewdata, iterval="cofidece") # KI fit lwr upr > predict(model, ewdata, iterval="predict") # PI fit lwr upr De første kommado kostruerer et yt R-datasæt med e ekelt variabel, gluk, og to værdier af dee variabel, emlig 8 og 15. Derefter bereges kofidesitervallere og prædiktiositervallere i de fittede model. Sammelig med figur 6.2, og geked specielt prædiktiositervallet for glukoseiveau 15 fra eksempel 6.16 (side 130). Residualer og modelkotrol De estimerede værdier, de rå residualer og de stadardiserede residualer fås ved hjælp af fitted, residuals og rstadard. De derved geererede vektorer ka derefter bruges med grafikfuktioer på sædvalig måde: > fit <- fitted(model) # Estimerede værdier > rawres <- residuals(model) # Rå residualer > stdres <- rstadard(model) # Stadardiserede residualer > plot(fit, stdres) # Residualplot > qqorm(stdres) # QQ-plot af std. residualer Påær layout laver disse kommadoer plottee fra figur Opgaver 6.1 Atag at vi har observatioer x = (x 1,...,x ) og y = (y 1,...,y ), og lad som sædvalig ˆα og ˆβ være estimatere fra de lieære regressiosmodel af y på x, se

147 6.10 Opgaver 147 sætig Atag at hvert x i erstattes med x i = 2x i og at vi udfører regressioe af y på x (altså bruger x i stedet for x i modelle). Hvilke idflydelse har det på estimatere? Hvilke idfyldelse har det på testet for hypotese om at der ige sammehæg er mellem de to variable? 2. Atag i stedet at hvert y i erstattes med y i = 3y i og at vi udfører regressioe af y på x. Besvar samme spørgsmål som før. 6.2 For et fødevareprodukt øsker ma at udersøge hvorda kocetratioe af et bestemt stof ædrer sig som fuktio af de temperatur som produktet opbevares ved. Derfor har ma for fem forskellige temperaturer omkrig frysepuktet målt kocetratioe af stoffet. Data er gegivet edefor. Temp. Koc. Temp. Koc. 5 C C C C C 8.8 Vi skal betragte de lieære regressiosmodel hvor middelværdie af kocetratioe beskrives som e lieær fuktio af temperature, dvs. E(Y ) = α + βx, 1. Forklar i termer af temperatur og kocetratio hvad fortolkige er af parametree α og β. 2. Idtast data med følgede kommadoer: temp <- c(-5,-3,-1,1,3) koc <- c(6.6, 7.6, 8.8, 8.8, 10.5) 3. Udfør følgede kommadoer og forklar hvorfor de bereger SSD x, SPD xy, ˆβ og ˆα: > SSDx <- var(temp)*4 > SPDxy <- sum((temp-mea(temp)) * (koc-mea(koc))) > betahat <- SPDxy / SSDx > alphahat <- mea(koc) - mea(temp)*betahat

148 148 Lieær regressio 4. Brug følgede kommado og sammelig med resultatet af de mauelle beregiger fra spørgsmål 3: > summary(lm(koc temp)) Aflæs desude de estimerede sprediger for ˆα og ˆβ, og bestem også variasestimatet s Det atages almideligvis at blodtrykket stiger med aldere. I tabelle edefor er agivet sammehørede værdier af alder og blodtryk for 15 uiversitetslærere (Blæsild ad Grafeldt, 2003). Alder Blodtryk I R-udskrifte edefor er data aalyseret ved hjælp af e lieær regressiosmodel. Opstil de statistiske model. Redegør for forudsætigere for aalyse, og diskuter om disse ka atages at være opfyldt i det foreliggede tilfælde. 2. Hvad er de præcise fortolkig af hældigsparametere i modelle (forklaret ved hjælp af alder og blodtryk)? 3. Agiv estimater for parametree i regressiosmodelle og estimatoreres margiale fordelig. Agiv også de estimerede sprediger for ˆα og ˆβ.

149 6.10 Opgaver Ka ma på grudlag af disse observatioer opretholde e hypotese om at der ikke er sammehæg mellem alder og blodtryk? Du ka bruge at 97.5% fraktile i t 13 -fordelige er Ved besvarelse ka edeståede uddrag af et R-udskrift beyttes. Desude er der teget et residualplot pt et QQ-plot af de stadardiserede residualer avedes. Data atages at ligge i datasættet tryk med de to variable alder og blodtryk. Stadardiserede residualer Empiriske fraktiler Estimeret blodtryk N(0,1) fraktiler Call: lm(formula = blodtryk alder) Coefficiets: Estimate Std. Error t value Pr(> t ) (Itercept) e-06 *** alder e-07 *** --- Residual stadard error: o 13 degrees of freedom 6.4 Data til dee opgave er de samme som til opgave 6.3, og vi skal stadig betragte de lieære regressiosmodel med blodtryk som resposvariabel (y) og aldere som forklarede variabel (x). 1. Fid estimatere for α, β og σ i R-outputtet fra opgave Betragt e tilfældig uiversitetslærer på 50 år. Bereg de prædikterede værdi for vedkommedes forvetede blodtryk.

150 150 Lieær regressio 3. Bereg både et 95% kofidesiterval for de forvetede værdi og et 95% prædiktiositerval for de ye observatio. Du ka beytte at x = , SSD x = , og at 97.5% fraktile i t 13 -fordelige er E uiversitetslærer på 50 får målt sit blodtryk til 170. Er det usædvaligt? Vik: Hvilke type iterval skal du bruge? 5. Atag at tidligere udersøgelser har vist at 50-årige tjeere i geemsit har et blodtryk på 170. Giver vores data belæg for at hævde at 50-årige uiversitetslærere har lavere blodtryk ed 50-årige tjeere? Vik: Hvilke type iterval skal du bruge? 6.5 Dee opgave hadler om test af hypotese H : α = 0 (se eksempel 6.17, specielt side 138). 1. Vis at kvotietteststørrelse for test af hypotese H : α = 0 er givet ved og ka udføres på ( ˆσ 2 Q(y) = ˆσ 2 t = ˆα 1 s + ) /2. x2 SSD x Du ka bruge at estimatere i modelle ude itercept er som agivet i delspørgsmål Vis at maksimum likelihood estimatorere i modelle ude itercept er givet ved ˆβ = y ix i x2 i, ˆσ 2 = 1 ( y i ˆβx i ) Vis at ( ˆβ N β, σ 2 x2 i ). 4. Vis at et 1 α kofidesiterval for β er givet ved s ˆβ ±t 1,1 α /2. x2 i

151 6.10 Opgaver Data i dee opgave er måedlige afkast i % af Daske Bak aktie, af markedsafkastet og det risikofri aktiv, opgivet hver tredie måed fra juli 1985 til oktober Data ligger i file daskebak.txt. Foretag samme aalyse som aalyse af Carlsberg aktie i eksempel 6.17, dvs. svar på følgede spørgsmål. 1. Plot afkastet af Daske Bak aktie mius det risikofri aktiv mod markedsafkastet mius det risikofri aktiv. Diskuter udfra figure om e lieær regressio virker rimelig. 2. Bereg maksimum likelihood estimatere for parametree i modelle fra defiitio 6.1, og agiv estimatoreres margiale fordeliger. 3. Idteg de estimerede regressiosliie i scatterplottet fra spørgsmål Bereg 95% kofidesitervaller for α og β. 5. Foretag modelkotrol ved heholdsvis et plot af de stadardiserede residualer mod de prædikterede værdier, og et QQ-plot af de stadardiserede residualer. Diskuter om modelle syes rimelig. 6. Test hypotese H : β = Test hypotese H : α = 0. Ka CAPM modelle accepteres? 8. Opdater estimatere for parametree afhægig af koklusioere i de to forrige spørgsmål, agiv estimatoreres margiale fordeliger. Bereg et 95% kofidesiterval for middelværdiparametere. 9. Hvad er de estimerede fordelig af regressiosliie i puktet x? 10. Atag at der kommer e y målig af markedsafkastet mius det risikofri aktiv på 15%. Prædikter Daske Bak akties afkast og agiv et 95% prædiktiositerval. Vik: Det er e god ide at defiere ye variable, x i = M i r i og Y i = R i r i. Det ka i R gøres på følgede måde: attach(dbdata) Yi <- Ri-ri xi <- Mi-ri detach(dbdata)

152 152 Lieær regressio De relevate modeller ka fittes i R på følgede måde: Sædvalig liear regressio y(x) = a + β x: lm(yi xi) Ude itercept y(x) = β x: lm(yi xi-1) Ma ka få mere iformatio ud ved ordre summary(lm(yi xi)) Kofidesitervaller ka fås ved cofit(lm(yi xi)) Et scatterplot med regressiosliie idteget ka kostrueres på følgede måde: plot(xi,yi,xlab="markedsafkast - risikofrit aktiv", ylab="daske bak afkast - risikofrit aktiv") ablie(lm(yi xi))

153 Litteratur Altma, D. G. (1999). Practical Statistics for Medical Research. Chapma & Hall, Lodo. Blæsild, P. ad Grafeldt, J. (2003). Statistics with Applicatios i Biology ad Geology. Chapma & Hall, Lodo. Ekstrøm, C. T. ad Sørese, H. (2010). Itroductio to Statistical Data Aalysis for the Life Scieces. Chapma & Hall/CRC. Heigse, I. (2006a). E Itroduktio til Statistik, bid 1. Afdelig for Avedt Matematik og Statistik, Købehavs Uiversitet, 7. udgave. Heigse, I. (2006b). E Itroduktio til Statistik, bid 2. Afdelig for Avedt Matematik og Statistik, Købehavs Uiversitet, 4. udgave. Mehl, M. R., Vazire, S., Ramírez-Esparza, N., Slatcher, R. B., ad Peebaker, J. W. (2007). Are wome really more talkative tha me? Sciece, 317(5384), 82. Ortego, J. D., Amiabhavi, T. M., Harlapur, S. F., ad Baludgi, R. H. (1995). A review of polymeric geosythetics used i hazardous waste facilities. Joural of Hazardous Materials, 42, Piheiro, J. ad Bates, D. (2000). Mixed-Effects Models i S ad S-PLUS. Spriger, New York. Samuels, M. L. ad Witmer, J. A. (2003). Statistics for the Life Scieces. Pearso Educatio, Ic., New Jersey. Skovgaard, I. (2004). Basal Biostatistik, Del 2. Samfudslitteratur. Skovgaard, I., Stryh, H., ad Rudemo, M. (1999). Basal Biostatistik, Del 1. DSR Forlag.

154 154 LITTERATUR Sørese, M. (2011). E Itroduktio til Sadsylighedsregig. Istitut for Matematiske Fag, Købehavs Uiversitet, 12. udgave. Veaples, W. ad Ripley, B. (1999). Moder Applied Statistics with S-PLUS. Spriger, New York.

155 Ideks accept af hypotese, 46 afvisig af hypotese, 46 baggrudsvariabel, 111 biomialfordelige, 9, 10 Capital Asset Pricig model, 134, 151 CAPM, 134 Carlsberg aktie, 136 cetral estimator, 15, 35, 59, 85, 119 dagligvarepriser, 66 Daske Bak aktie, 151 effektparameter, 112 eksempel CAPM, 134 dagligvarepriser, 66 eergiforbrug, 96 kobbertråd, 31, 35, 38, 40, 45, 47 lægde af kroblade, 95 læsetest, 47 malaria, 69 Medelsk spaltig, 17 produktivitetsscore, 94 prothrombiideks, 56, 59, 62, 66, 68 smagsforsøg, 16 tuberkulose, 82, 86, 89, 94, 96 vægt af hjerer, 68 vcf og blodglukose, 113, 120, 122, 126, 128, 130 vetetid, 20 empirisk varias, 59 e stikprøve, 27 med kedt varias, 31 med ukedt varias, 55 edeligt udfaldsrum, 18 eergiforbrug, 96, 108 estimat, 12, 14 estimator, 9, 14 estimeret spredig for ˆµ 1 og ˆµ 2, 85 for ˆp, 16 for ˆα og ˆβ, 120 for ˆµ, ukedt varias, 59 for µ 1 µ 2, 88 F-test, 95 forklarede variabel, 111, 112 histogram, 67, 96 hypotese, 41 om α, 138 om β, 122 om µ, kedt varias, 40 om µ, ukedt varias, 62 om µ 1 µ 2, 89 hypotesetest, Se test af hypotese hyppighed, 9 kobbertråd, 31, 35, 38, 40, 45, 47 kofidesiterval, 46, 49, 120 for α og β, 121

156 156 INDEKS for µ, kedt varias, 37 for µ, ukedt varias, 60 for µ 1 µ 2, 88 for µ 1 og µ 2, 87 for regressiosliie, 127 koklusio på test, 46 kovariat, 111 kritiske værdier, 41, 63 kvotiettest, 41, 49, 123 kvotietteststørrelse, 41, 63, 90 for α = 0, 150 for β = 0, 123 for µ = µ 0, kedt varias, 43 for µ = µ 0, ukedt varias, 63 for µ 1 = µ 2, 90 least squares method, 36 likelihood ratio test, 41 likelihoodfuktio, 9 biomialfordelige, 12 edeligt udfaldsrum, 19 kedt varias, 33 lieær regressio, 114 to stikprøver, 83 ukedt varias, 56 lieær regressio, 28, 111 log-likelihoodfuktio, 14, 34 lægde af kroblade, 95, 108 læsetest, 47 maksimaliserigsestimat, 12 maksimum likelihood estimat, 18, 21, 48 edeligt udfaldsrum, 19 for (α,β,σ 2 ), 115 for (µ,σ 2 ), 57 for (µ 1, µ 2,σ 2 ), 83 for (µ 1 = µ 2,σ 2 ), 90 for β år α = 0, 140 for µ, kedt varias, 34 for p, 12, 21 malaria, 69 markedsafkast, 135 Medelsk spaltig, 17 midste kvadraters metode, 36 MLE, 12 modelkotrol, 28, 49, 67, 96, 130, 133 mometestimatio, 21 ormalfordelige, 27 ormalfordeligsatagelse kotrol af, 67, 96, 134 opdaterig af estimater, 65, 93 p-værdi, 42, 44, 46, 63, 90, 123 parameter, 10, 32, 55 parametermægde, 10, 11, 19, 32, 55, 82 parrede data, 71 parret t-test, 66, 82 prædiktio, 126, 129 prædiktiositerval, 129 produktivitetsscore, 94, 108 profillikelihoodfuktio, 58, 84 prothrombiideks, 56, 59, 62, 66, 68 QQ-plot, 68, 96, 134 R fuktioer ablie, 145 attach, 73 cofit, 145 dbiom, 21 dorm, 51 fitted, 146 hist, 75, 103 lm, 143 mea, 49, 103 pbiom, 21 plot, 145

157 INDEKS 157 porm, 49, 51 predict, 145 pt, 75 qorm, 49, 51 qqorm, 76, 103 qt, 75, 103 rbiom, 22 residuals, 146 rorm, 51 rstadard, 146 sd, 74 subset, 102 summary, 144 t.test, 73, 102 var, 74, 102 regressiosliie, 112, 126 regressiosvariabel, 111 relativ hyppighed, 9, 14 residual, 130, 131 resposvariabel, 111, 112 risikofri aktiv, 135 test af hypotese, 41, 46, 49, 122 om β, 123 om µ, kedt varias, 43 om µ, ukedt varias, 63 om µ 1 = µ 2, 90 testsadsylighed, 42, 63, 90 to stikprøver, 28, 81 trasformatio af data, 69, 95 trukerede data, 96 tuberkulose, 82, 86, 89, 94, 96, 101 type I fejl, 46 type II fejl, 46 u-test, 42 uafhægighed, 11, 27, 28, 94, 95 usikkerhed, 9 11, 32, 35 variashomogeitet, 27, 28, 81, 94, 95 vcf og blodglukose, 113, 120, 122, 126, 128, 130 vetetid, 20 vægt af hjerer, 68 scatterplot, 113 sigifikasiveau, 44 simulatio, 38, 70 smagsforsøg, 16 spredig, estimeret, Se estimeret spredig stadard error, Se estimeret spredig stadardiseret residual, 132 statistisk aalyse, 9 statistisk model, 9 11, 48 biomialfordelige, 10, 21 kedt varias, 32 lieær regressio, 112, 113 to stikprøver, 82 ukedt varias, 56 t-test, 65, 93, 125