Asymptotisk estimationsteori

Transkript

1 Kapitel 5 Asymptotisk estimatiosteori De fleste eksperimeter har e idbygget størrelse, som regel kaldet eller N. Dette repræseterer typisk atallet af foretage måliger, atallet af udersøgte idivider, atallet af måliger per idivid eller ligede. Eksperimetstørrelse opfattes som determiistisk, og vi atager at de er uder eksperimetatores kotrol - i hvert fald teoretisk. E statistisk model for eksperimetet vil afhæge af dette, af de simple grud at repræsetatiosrummet varierer med. Formelt har vi altså e hel sekves af modeller, X, E, ) for N, hvor er e delmægde af rx, E ). Me typisk parametriserer ma alle disse modeller med de samme parametermægde Θ, og der er e oplagt idetifikatio mellem sadsylighedsmålee i de forskellige modeller via parametere. Eksempel 5. Når vi siger at X,..., X er uafhægige, ekspoetialfordelte variable, alle med middelværdi λ > 0, er størrelse så itegreret i formulerige, at vi æppe opdager de. Me formelt har vi for hvert e model på R. Og det er først år vi idetificerer de ekelte sadsylighedsmål på R med et λ, at det er aturligt at opfatte målee på R som de samme som målee på R m. 43

2 44 Kapitel 5. Asymptotisk estimatiosteori For fastholdt er e estimator af parametere da e afbildig t : X Θ. Så år vi siger e estimator meer vi som regel e hel sekves af estimatorer, e for hvert, kostrueret ud fra samme pricip. De grudlæggede statistiske erfarig er, at jo flere observatioer ma har gjort, jo bedre er ma i stad til at drage iferes om modelles parametre. Det simpleste udtryk for dee erfarig er store tals lov, me erfarige dækker lagt bredere ed blot uafhægige getagelser af samme grudeksperimet. I dette afsit vil vi tage hul de de asymptotiske teori for estimatio. Dee teori præciserer hvorda de iferesmæssige procedurer forbedres år eksperimetstørrelse øges, og de giver mulighed for at vælge de procedurer der er mest efficiete, dvs. bedst er i stad til at omsætte et øget atal observatioer til større vished om de sade parameter. Ma taler gere om metoderes large sample egeskaber. Det viser sig at maksimaliserigsestimatio uder ret geerelle omstædigheder er asymptotisk efficiet, og det er - samme med det mekaiske aspekt i procedure - det bærede argumet bag pricippet. I praktiske sammehæge har ma aturligvis ku udført et ekelt eksperimet, ikke e hel sekves af varierede størrelse, så det ma har, er fast. Det forekommer ofte, at ma ka fide procedurer, der for et kokret er bedre ed maksimaliserigsestimatio - ma taler om procedureres small sample egeskaber, som et udtryk for hvor godt de egetlig fugerer, og e vurderig af small sample egeskaber ka altså godt lede til et adet valg af procedurer ed e vurderig af large sample egeskaber. Large sample egeskabere ka ofte udledes teoretisk, mes small sample egeskabere som regel ku er tilgægelige ved hjælp af simulatio - det er ku i helt simple modeller, at ma ka udlede eksakte fordeligsresultater. Hvorår ma skal argumetere på small sample egeskaber, og hvorår ma ka falde tilbage på asymptotiske argumeter, er bladt statistikkes vaskeligste spørgsmål. Computerrevolutioe har ædret karaktere af dee problemstillig radikalt: før 970 ere havde ma ige jordisk mulighed for at udersøge e procedures small sample egeskaber, og al argumetatio var essetielt asymptotisk. Med de regekraft, der er tilgægelig i vore dage, er det e simpel sag at udføre et stort atal simulatioseksperimeter, me det er ofte vaskeligt at opsummere disse eksperimeter på e måde der giver reel forståelse.

3 5.. Kosistes Kosistes I det følgede vil vi udelukkede betragte de simplest mulige asymptotiske situatio, hvor ma gør flere og flere observatioer af samme slags. Vi forestiller os altså et grudeksperimet med repræsetatiosrum Y, K), som vi - med større eller midre variatioer - getager gage, og vi får på de måde et eksperimet med repræsetatiosrum X, E ) = Y... Y, K... K). Alterativt formulerer vi os på de måde, at vi har stokastiske variable Y,..., Y, alle med værdier i Y, K), og disse variable sammebudtes til e storobservatio X = Y,..., Y ) Y. Et muligt sceario - det eeste, vi for alvor vil diskutere i disse oter - er at variablee Y,..., Y er uafhægige, idetisk fordelte, med e fordelig, der afhæger af parametere θ Θ. Hvor det ofte er rimeligt at forestille sig at observatioere er uafhægige, er det tit for restriktivt, at isistere på at variablee er idetisk fordelte: der vil ofte være eksperimetelle omstædigheder, der ædrer sig fra deleksperimet til deleksperimet, og målet for eksperimetet ka meget vel være at gøre rede for hvorda disse varierede eksperimetelle omstædigheder påvirker måleresultatet. Vi forestiller os dog at de simultae fordelig af Y,..., Y ) på aturlig måde ka parametriseres med e fast parametermægde Θ, der altså ikke varierer med. Eksempel 5.2 Atag at der vil hver af observatioere Y i er kyttet e kovariat t i R. Fordeligsatagelse ka så være at Y,..., Y er uafhægige reelle variable, og at Y i Nα + β t i, σ 2 ) for i =,...,. Ma heviser gere til dee model som simpel lieær regressio. Tilføjer ma e y observatio, Y +, har de æppe samme fordelig som oge af de tidligere observatioer, i hvert fald ikke medmidre de ye kovariat t + tilfældigvis falder samme med e af de tidligere kovariater. Ikke desto midre vil de simultae fordelig af alle observatioere være beskrevet af de tre parametre α, β og σ 2, uaset hvor stort er. Når vi siger e estimator for θ, meer vi i dee sammehæg e sekves af afbildiger t : Y Θ. Tæker vi på disse estimatorer som stokastiske, fører det til idførelse af størrelsere ˆθ = t Y,..., Y ), for N.

4 46 Kapitel 5. Asymptotisk estimatiosteori Uder passede målelighedsforudsætiger, er ˆθ, ˆθ 2,... er følge af stokastiske variable med værdier i Θ. Målet for de asymptotiske aalyse af dee sekves af estimatorer, er at udersøge i hvilket omfag fordelige af ˆθ kocetrerer sig om det sade θ år vokser. Et problem for mage estimatorer i realistiske modeller. er paikobservatioer: observatioer der ikke giver iformatio ok til at ma ka dae sig e foruftig meig om de sade parameter. roblemet opstår især i forbidelse med modeller for diskrete observatioer, me det ka også optræde i modeller for kotiuerte observatioer, især hvis der optræder fæomeer som cesureriger eller trukeriger. Formelt ka vi tæke på paikobservatioere som e udtagelsesmægde A Y, hvorpå t ok er defieret, me hvor vi ikke tillægger t -værdie oge betydig. Vi forestiller os altså at vi har valgt e arbitrær udvidelse af t fra de rimelige observatioer til alle observatioer. Et rimeligt krav til e sekves af estimatorer er at effekte af paikobservatioere for de udsag ma kommer med, forsvider år vokser. Det fører til følgede defiitio: Defiitio 5.3 E sekves af estimatorer t : Y Θ, hvor t har udtagelsesmægde A, er asymptotisk veldefieret hvis for alle θ Θ. θ Y,..., Y ) A ) 0 for, Et typisk eksempel på e asymptotisk veldefieret estimator er det empiriske odds fra 4.2) i et møtkasteksperimet. Det er e veldefieret størrelse, så sart ma har observeret både succeser og fiaskoer. Og uaset hvilke møt ma kaster med, vil ma før eller side få begge sider af møte at se. Et eksempel på e estimator, der ikke ødvedigvis er asymptotisk veldefieret, får ma ved at betragte afskåre ekspoetialfordeliger, som i eksempel 2.5. Hvis vi i stedet for e fast cesurgræse c = 300 arbejder med e idividafhægig cesurgræse c, c 2,..., så er sadsylighede for at samtlige de første observatioer cesureres e ci/λ = e i= c i /λ. i=

5 5.. Kosistes 47 Hvis ma cesurerer observatioere så hurtigt at i= c i <, så forsvider problemere med paikobservatioer ikke, selv om atallet af observatioer vokser, og det bliver umuligt at agive e asymptotisk veldefieret estimator. Dette eksempel virker sikkert lidt kustigt, for idee om at cesurere observatioere hurtigere og hurtigere forudsætter e god portio od vilje. Me eksemplet repræseterer et reelt problem: i visse situatioer ka ma idrette de eksperimetelle omstædigheder såda at ma forhidrer sig selv i at blive klogere af at gøre mage observatioer. Vi skal seere se realistiske eksempler hvor dette fæome idtræffer. Det har aturligvis ikke oget at gøre med od vilje, me med at maglede vide om det ma skal udersøge, ka gøre det umuligt at desige eksperimetet ordetligt. Når ma har sikret sig at estimatore bliver defieret før eller side, så er æste tri at udersøge om de ligeledes før eller side) rammer i ærhede af de sade parameter. Vi ville gere tale om fordelige af ˆθ, og om at dee fordelig kocetrerer sig på de rigtige faco. Uheldigvis er selve fordeligsbegrebet problematisk, hvis estimatore har e udtagelsesmægde: de eksakte fordelig af ˆθ vil afhæge af hvorda t er defieret på udtagelsesobservatioere. Me hvis estimatore er asymptotisk veldefieret, ka visse fordeligsbegreber give god meig, selv om det er tvivlsomt at tale om selve fordelige af estimatore. Det umiddelbart vigtigste af disse begreber er kosistes: Defiitio 5.4 Atag at parametermægde Θ er e åbe delmægde af R k. E sekves af estimatorer t : Y Θ af parametere θ er kosistet hvis hvis θ er de sade parameter. ˆθ θ for, Skrevet op i formler er defiitioe at for alle θ Θ og alle ɛ > 0, vil θ ˆθ θ > ɛ ) 0 for, 5.) hvis Θ R. Hvis parametere er flerdimesioal, må de lodrette streger i 5.) fortolkes som euklidisk orm - eller e hvilke som helst ade orm for de sags skyld, alle ormer vil være eige om hvorvidt e estimator er kosistet.

6 48 Kapitel 5. Asymptotisk estimatiosteori Hvis estimatore er asymptotisk veldefieret, så er 5.) ækvivalet med at θ ˆθ θ > ɛ ) A c ) 0 for, hvor A er paikobservatioere. Så for spørgsmålet om kosistes, spiller de kokrete defiitio af t på A ige rolle. Formuleret i ord, er e estimator kosistet hvis der gælder følgede: hver gag vi slår e rig om de sade parameter, så skal der være e sadsylighed voksede mod for at ˆθ er veldefieret og ligger ide for rige. Og dette skal gælde uaset hvor lille e rig vi vælger. De emmeste måde at vise at e estimator er kosistet, er via Chebyshevs ulighed. Er det lykkedes at producere e foruftig globalt defieret estimator ˆθ de globale defiitio skal gøre det muligt at tale om mometer) for e reel parameter θ, så for alle og θ, og så E θ ˆθ = θ, V θ ˆθ 0 for, for alle θ, så giver Chebyshevs ulighed at ˆθ er kosistet. Det er essetielt det samme argumet, ma bruger til at vise store tals lov. I adre tilfælde ka ma få Chebyshevs ulighed til at vise at et eller adet er koverget i sadsylighed, og ved at udytte at koverges i sadsylighed er stabil overfor de almidelige regeoperatioer, ka ma hamre løs på de opridelige koverges i sadsylighed idtil de giver de kosistes ma er ude efter. Regereglere for koverges i sadsylighed idbefatter f.eks. at ) ) Z a Z a, W b. 5.2) W b Der gælder også at hvis g : R k R m er kotiuert i a, så vil Z a gz ) ga). 5.3) Disse regeregler vil vi ikke bevise - skøt bevisere ikke er vaskelige. Me kombieres de, ser vi at Z a, W b Z + W a + b. 5.4) Tilsvarede regler gælder for subtraktio, multiplikatio, etc.

7 5.. Kosistes 49 Vi vil u gøre rede for at maksimaliserigsesestimatio er asymptotisk veldefieret og kosistet. Vi beviser ku tigee i e legetøjsmodel, uder atagelser der er voldsomt restriktive. Me argumetere giver e foremmelse for hvorda de type resultater ka bevises. Eksempel 5.5 Legetøjsmodel) Lad Y være e reel stokastisk variabel. Lad der være givet e model ν θ ) θ Θ for fordelige af Y, hvor Θ er et åbet iterval på R. arametere er altså etdimesioal. Vi atager edvidere at modelle er domieret, ν θ = f θ µ, og vi atager e række regularitetsbetigelser på de associerede likelihoodfuktio. Heruder at loglikelihoodfuktioere l y eksisterer for alle y og er C 3 -fuktioer, og at sætig 3.26 er opfyldt. Af kritiske og usædvalige atagelser har vi to, emlig l y θ) > 0 for alle y, θ, 5.5) og l y θ) C for alle y, θ, 5.6) for et passede C. Kravet om e uiform begræsig af de tredie afledede af loglikelihoodfuktioe ka slækkes betydeligt ude at edeståede resultater ødelægges hvilket er heldigt, for 5.6) er æppe ogeside opfyldt i praksis), hvorimod koveksitetskravet ku med besvær ka slækkes. Vi forestiller os e hel sekves Y, Y 2,... af uafhægige, idetisk fordelte variable med samme fordelig som oveståede Y. Uafhægighede sikrer at loglikelihoodfuktioe på baggrud af observatioere Y,..., Y har forme l Y,...,Y θ) = l Yi θ) 5.7) hvor l Yi beteger loglikelihoodfuktioe ku baseret på Y i. Tilsvarede er scorefuktioe baseret på observatioer e sum af ekeltobservatiosscorefuktioer og ligesåda med iformatiosfuktioe. Bemærk at for fast θ er de ekelte led i e sum som 5.7) uafhægige og idetisk fordelte. De forvetede iformatio på baggrud af observatioer i er i θ) = E θ l Y,...,Y θ)) = E θ l Y i θ) = i θ). I det omfag maksimaliserigsestimatore på baggrud af observatioere Y,..., Y eksisterer, vil vi betege de som ˆθ. i= i=

8 50 Kapitel 5. Asymptotisk estimatiosteori Sætig 5.6 I legetøjsmodelle fra eksempel 5.5 er maksimaliserigsestimatore ˆθ asymptotisk veldefieret, og hvis θ 0 er de sade parameter. ˆθ θ0 for, BEVIS: Betragt et ɛ. I pricippet er ɛ vilkårligt, i praksis vil vi dog ku diskutere Bemærk at 5.5) garaterer at i θ 0 ) > 0. ɛ 3 i θ 0 ) 8 C. 5.8) Sumstrukture af score- og iformatiosfuktioere sikrer samme med store tals lov at l Y,...,Y θ 0 ) 0 og at l Y,...,Y θ 0 ) i θ 0 ) uder θ0. Hvis vi sætter A = l Y,...,Y θ 0 ) i ) θ 0 )ɛ, 6 og B = så vil θ0 A B ) for. l Y,...,Y θ 0 ) i ) θ 0 ), 2 Taylors formel med restled giver at der fides et θ mellem θ 0 og θ 0 + ɛ så l Y,...,Y θ 0 + ɛ) = l Y,...,Y θ 0 ) + l Y,...,Y θ 0 ) ɛ + 2 l Y,...,Y θ 0 ) ɛ l Y,...,Y θ) ɛ 3. Hvis vi har gjort e observatio i A B, så ser vi at l Y,...,Y θ 0 + ɛ) l Y,...,Y θ 0 ) i θ 0 )ɛ 2 + i θ 0 )ɛ 2 C ɛ ,

9 5.2. Asymptotisk ormalfordelig 5 hvilket, på grud af 5.8), ka koges ed til at Tilsvarede vises at l Y,...,Y θ 0 + ɛ) l Y,...,Y θ 0 ) + i θ 0 )ɛ 2 8 l Y,...,Y θ 0 ɛ) l Y,...,Y θ 0 ) + i θ 0 )ɛ 2 8 Vi ved at de kotiuerte fuktio l Y,...,Y atager sit miimum over det kompakte iterval [θ 0 ɛ, θ 0 +ɛ]. Hvis vi har gjort e observatio i A B viser vores vurderiger at miimaet umuligt ka fides på rade af itervallet, altså må det fides i det idre. Et miimum i det idre af itervallet, er automatisk et statioært pukt. Idet loglikelihoodfuktioe er ataget at være stærkt koveks, vil et sådat statioært pukt automatisk være det globale miimum for l Y,...,Y. Vi har således vist at med sadsylighed gåede mod, vil loglikelihoodfuktioe have et globalt miimum og dette miimum vil ligge i θ 0 ɛ, θ 0 + ɛ). De første af disse observatioer giver at maksimaliserigsestimatore ˆθ er asymptotisk veldefieret, de ade giver år ma begyder at skrue på ɛ) at ˆθ er e kosistet estimator af θ Asymptotisk ormalfordelig Kere i påstade om at maksimaliserigsestimatorer er foruftige, er at år ma har mage observatioer, så vil maksimaliserigsestimatore stort set være ormalfordelt på e helt bestemt måde. Lad os starte med at præcisere hvad vi meer med det. Defiitio 5.7 Lad ν, ν, ν 2,... være sadsylighedsmål på R k, B k ). Vi siger at ν kovergerer svagt mod ν, skrevet ν wk ν for, hvis f dν f dν for 5.9) for alle kotiuerte, begræsede fuktioer f : R k R.

10 52 Kapitel 5. Asymptotisk estimatiosteori Der fides mage forskellige kovergesbegreber på rr k, B k ), og svag koverges er æppe det mest ituitive af dem - me det er altså de mest brugbare i forbidelse med de asymptotiske beskrivelse af estimatorer. Ma ka bruge mage kræfter på at overveje hvor få fuktioer 5.9) egetlig behøver at være opfyldt på, før ma ka være sikker på at betigelse er opfyldt for alle kotiuerte begræsede fuktioer. Et af de cetrale tricks i teorie for svag koverges, er således at hvis 5.9) er opfyldt for fuktioere x e i x,ξ for ethvert ξ R k, så vil ν kovergere svagt mod ν. Når ma baserer sie argumeter på dette trick siger ma at ma bruger karakteristiske fuktioer. Omvedt ka ma også bruge mage kræfter på at overveje hvilke diskotiuerte og/eller ubegræsede fuktioer 5.9) gælder for, hvis betigelse gælder for de kotiuerte, begræsede fuktioer. Ma ka f.eks. bemærke at idikatorfuktioer er diskotiuerte, så det er et åbet spørgsmål om ν A) νa) for e mægde A B k. Typisk vil det være rigtigt for ogle mægder, me ikke for adre. Bemærk tilsvarede at polyomier er ubegræsede, så det er et åbet spørgsmål om mometer for ν kovergerer mod mometer for ν. Teorie for svag koverges er stor og omfattede. De ka udstrækkes til at gælde sadsylighedsmål på forskellige uedeligdimesioale rum, og det bliver hurtigt gaske tekisk. I vores sammehæg er det mere aturligt at formulere sig ved hjælp af stokastiske variable ed ved hjælp af sadsylighedsmål, og det fører til begrebet koverges i fordelig: Defiitio 5.8 Lad X, X 2,... være stokastiske variable på Ω, F, ) med værdier i R k, B k ), og lad ν være et sadsylighedsmål på R k, B k ). Vi siger at X kovergerer i fordelig mod ν, skrevet X D ν for, hvis X ) wk ν for.

11 5.2. Asymptotisk ormalfordelig 53 Bogstavet D står for det egelske ord distributio. E ade udbredt otatio er L X ν, hvor bogstavet L står for law - både distributio og law bruges om det, vi på dask kalder fordelig. Nogle gage støder ma på otatioe X D Y for, hvor Y er edu e stokastisk variabel. Det betyder at X ) wk Y). Defiitio 5.9 Lad X, X 2,... være stokastiske variable på Ω, F, ) med værdier i R k, B k ), lad ξ være e k-vektor og lad Σ være e positivt semidefiit k k-matrix. Da er X asymptotisk ormalfordelt med parametre ξ, Σ), skrevet as X N ξ, ) Σ, hvis X ξ) D N 0, Σ) for. Det er i dee forstad vi vil hævde at e række stokastiske variable stort set er ormalfordelte. Hvis defiitio 5.9 er opfyldt, omtaler vi ξ som de asymptotiske middelværdi og Σ som de asymptotiske varias. Bemærk at defiitio 5.9 medfører at X ξ, asymptotisk ormalitet fortæller at kovergese i sadsylighed foregår på e helt speciel måde og i et øje agivet tempo. Det er ikke helt emt at forstå hvad påstade i defiitio 5.9 egetlig er. De er for eksempel ikke at middelværdie af X stort set er ξ, og de er slet ikke at variase af X stort set er Σ: faktisk hadler påstade slet ikke om hvad mometere af X er, eftersom svag koverges ikke tillader oge koklusio om mometer. Ma ka lave eksempler, hvor alle X ere er reelle variable med middelværdi 0, me hvor følge alligevel er asymptotisk ormalfordelt med asymptotisk middelværdi f.eks.. oite er at de faktiske mometer afhæger kraftigt af de ekstreme hale af fordeligere, hvorimod de asymptotiske parametre er et udtryk for de cetrale del af fordelige. E mere frugtbar forståelse - i hvert fald på R - er at er at asymptotisk ormalfordelig har at gøre med koverges af fordeligsfuktioer. Det betyder dels at de

12 54 Kapitel 5. Asymptotisk estimatiosteori overordede form af fordelige kovergerer mod oget ormalfordeligsagtigt. Og det betyder i særdeleshed koverges af fraktiler. Således vil mediae for X stort set være ξ hvis er stor. Og hvad der især er vigtigt, området Σ Σ ξ.96, ξ ) vil stort set være et cetralt 95% kokordasområde for fordelige af X. Sætig 5.0 CLT) Lad X, X 2,... være uafhægige, idetisk fordelte stokastiske variable med værdier i R k. Atag at X i har 2. momet, og lad EX i = ξ, VX i = Σ. Da vil i= X i as N ξ, Σ ). Vi vil ikke geemføre et bevis for CLT i disse oter. Bemærk sætig 5.0 geeraliserer de versio af CLT, der blev aført p. 37 til flere dimesioer. å trods af tidligere advarsler om at svag koverges ikke altid medfører koverges af mometer, så gælder der faktisk i dee variat af CLT at de faktiske middelværdi og varias af i= X i er idetisk med de asymptotiske middelværdi og varias. Eksempel 5. Lad X, X 2,... være uafhægige reelle stokastiske variable, alle ekspoetialfordelte med middelværdi. Da fortæller CLT at i= as X i N, ). I dette tilfælde har i= X i faktisk middelværdi og varias /. Me i= X i er aturligvis ikke rigtigt ormalfordelt, størrelse er Γ-fordelt med formparameter og skalaparameter /. Ma ka således rege skævhede ud til at være 2 og ikke ul. Ispireret af 5.0) ka vi udrege X i.96, ) i=

13 5.2. Asymptotisk ormalfordelig 55 som fuktio af. Resultatet er opteget på figur 5.. Ved et tilfælde er værdie æste 0.95 for = - det er et tilfælde, fordi itervallet rager et godt stykke id over de egative akse, og der er på forhåd ige grud til at tro at 5.0) skulle have oget særligt at gøre med et 95% kokordasområde. Vi ser da også at for = 2, 3,... bliver resultatet gradvist dårligere ude dog at blive særlig dårligt). Me ved = 6 veder det ige, og derefter kovergerer de faktiske dækigsgrad mootot mod de omielle værdi på Dækigsgrad Figur 5.: Dækigsgrade fra formel 5.) af det asymptotiske kokordasområde for geemsittet Xi af uafhægige ekspoetialfordelte variable med middelværdi, som fuktio af. Dette eksempel er ikke særligt typisk, fordi overestemmelse mellem de faktiske dækigsgrad og de omielle dækigsgrad er gaske god for alle. Typisk vil resultatet være meget dårligt for de første mage, og det er et spørgsmål om erfarig at kue dømme om det ma i praksis ser på, er stort ok til at ma ka bruge ormalfordeligsapproksimatioe. Vi har set at parameterestimatorer ofte er simple geemsit, og derfor ka sætig 5.0 i e lag række tilfælde bruges til at vise at kokrete estimatorer er asymptotisk ormalfordelte.

14 56 Kapitel 5. Asymptotisk estimatiosteori Eksempel 5.2 Lad X,..., X være uafhægige reelle stokastiske variable, alle ekspoetialfordelt med e ukedt middelværdi λ > 0, der øskes estimeret. Vi har i flere eksempler været ide på estimatore ˆλ = X i. Det fremgår af CLT at hvis λ er de sade parameter, så er ˆλ as ) N λ, λ2 Kvalitete af ormalfordeligsapproksimatioe afhæger aturligvis af, me i dette specielle tilfælde ka ma vise at kvalitete ikke afhæger af λ. Eksempel 5.3 Lad X,..., X være uafhægige reelle stokastiske variable, så i= X i = ) = p, X i = 0) = p, hvor p 0, ) er de ukedte parameter. Vi har i flere eksempler været ide på estimatore ˆp = X i. 5.2) Det fremgår af CLT at hvis p er de sade parameter, så er ˆp as ) p p) N p,. 5.3) I dette tilfælde afhæger kvalitete af approksimatioe både af og af p, såda at for p-værdier omkrig /2 behøver ikke at være særlig stor før approksimatioe er god, mes for p-værdier ude omkrig 0 eller skal være meget større før approksimatioe er rimelig. Hvis estimatorer ikke er geemsit, så er de gere fuktioer af geemsit. I så fald ka følgede sætig ofte bruges: i= Sætig 5.4 Deltametode) Lad X, X 2,... være e følge af stokastiske variable med værdier i R k, B k ). Atag at X as Nξ, Σ).

15 5.2. Asymptotisk ormalfordelig 57 Lad U være e åbe omeg af ξ, og lad f : U R m være e målelig fuktio. Hvis f er differetiabel i ξ gælder at f X ) as N f ξ), ) D f ξ) Σ D f ξ)t. Eksempel 5.5 Lad os iteressere os for estimatio af odds θ i modelle for simple møtkast med successadsylighed p. Idet er de aturlige estimator for θ ˆθ = θp) = p p ˆp = θ ˆp), ˆp hvor ˆp er givet ved 5.2). Eftersom ˆp er asymptotisk ormalfordelt som aført i 5.3), og eftersom θp) er differetiabel i p med afledet, så følger det af Del- p) 2 tametode, at ˆθ er asymptotisk ormalfordelt med asymptotisk middelværdi asymptotisk varias p p) p) 2 p) 2 = p p) 3. p p og Udtrykkes de asymptotiske parametre ved hjælp af det sade θ fremfor det sade p, får vi at ˆθ as ) θ + θ)2 N θ,. Eksempel 5.6 Lad X,..., X være uafhægige reelle variable, alle Γ-fordelte med ukedt formparameter λ > 0 og skalaparameter. Vi så i eksempel 4.0 at e aturlig estimator for λ er ˆλ = X i, og det følger af CLT at i= ˆλ as N λ, λ ).

16 58 Kapitel 5. Asymptotisk estimatiosteori E midre elemetær estimator er λ = Ψ log X i, i= hvor Ψ er digammafuktioe. I eksempel 4.0 præseterede vi λ som e mometestimator, me det er ikke vaskeligt at vise at det også er maksimaliserigsestimatore. Ma ka vise at E λ log X = Ψλ), V λ log X = Ψ λ), hvor Ψ er trigammafuktioe. Det følger direkte af CLT at i= ) as log X i N Ψλ), Ψ λ). Ved at bruge Deltametode - husk hvorda Ψ ) er relateret til Ψ - ser vi at λ as ) N λ, Ψ. λ) Sfrag replacemets /Ψ λ) λ Figur 5.2: Graf af /Ψ λ), hvor Ψ er trigammafuktioe.

17 5.3. Asymptotisk ormalitet af MLE 59 å figur 5.2 har vi opteget e graf af /Ψ. Vi ser at λ systematisk har e midre asymptotisk varias ed ˆλ, om ed de relative forskel er størst for små λ er. Dee aalyse ka således kvalitativt forklare forskelle på de to estimatorers opførsel i figur 4.6. Faktisk er aalyse edu bedre: umeriske karakteristika for fordeligere i figur 4.6 passer gaske øje overes med de asymptotiske fordeliger vi lige har fudet. 5.3 Asymptotisk ormalitet af MLE Lemma 5.7 Lad X, X 2,... være e følge af stokastiske variable defieret på et fælles baggrudsrum Ω, F, ) og med værdier i R k. Lad Y, Y 2,... være e følge af reelle stokastiske variable, også defieret på Ω, F, ). Atag at X D ν, Y, hvor ν er et passede græsemål på R k. Da vil Y X D ν. Vi vil primært bruge lemma 5.7 til at slutte at hvis as X N 0, ) Σ og Y, så vil Y X as N 0, Σ ). Dee tekik, hvor ma viser at hvis e give størrelse er asymptotisk ormalfordelt, så er ærtståede størrelser også asymptotisk ormalfordelt, er uhyre slagkraftig. Lemma 5.8 I legetøjsmodelle fra eksempel 5.5 gælder at hvis θ 0 er de sade parameter. l Y,...,Y θ 0 ) l Y,...,Y θ 0 ) as N 0, ) i θ 0 ),

18 60 Kapitel 5. Asymptotisk estimatiosteori BEVIS: Vi ser at l Y,...,Y θ) = for alle θ, på grud af uafhægighede. Da l Y i θ) i= E θ0 l Yi θ 0 ) ) = 0, V θ0 l Yi θ 0 ) ) = i θ 0 ), giver de cetrale græseværdisætig at l Y,...,Y θ 0 ) as N 0, ) i θ 0 ) uder θ0. Heraf følger - om ødvedigt ved hjælp af deltametode, me det er lige så emt at gå direkte til defiitio af svag koverges - at l Y,...,Y θ 0 ) as N 0, ) i θ 0 ) i θ 0 ) uder θ0. å de ade side giver store tals lov at l Y,...,Y θ 0 ) = i= l Y i θ 0 ) i θ 0 ) uder θ0, og kotiuitetsegeskabere for dee form for koverges gør at i θ 0 ) l Y,...,Y θ 0 ) uder θ0. Kombieres disse to resultater med lemma 5.7 fås l Y,...,Y θ 0 ) l Y,...,Y θ 0 ) = i θ 0 ) Y,...,Y θ 0 ) l uder θ0, præcis som øsket l Y,...,Y θ 0 ) as N 0, i θ 0 ) ) i θ 0 ) Sætig 5.9 I legetøjsmodelle fra eksempel 5.5 gælder at as ˆθ N θ 0, ), i θ 0 ) hvis θ 0 er de sade parameter.

19 5.3. Asymptotisk ormalitet af MLE 6 BEVIS: Vi atager at vi har gjort e observatio så ˆθ eksisterer. E 2. ordes Taylorudviklig af scorefuktioe l Y,...,Y θ) omkrig de sade parameter θ 0 giver at l Y,...,Y ˆθ ) = l Y,...,Y θ 0 ) + l Y,...,Y θ 0 )ˆθ θ 0 ) + 2 l Y,...,Y θ)ˆθ θ 0 ) 2 hvor vi har udreget de tredie afledede af l i et passede mellempukt θ mellem θ 0 og ˆθ. er kostruktio er ˆθ et ulpukt for scorefuktioe, så vestreside er ul. Ved at omorde fås l Y,...,Y θ 0 ) l Y,...,Y θ 0 ) = ˆθ θ 0 ) + 2 Idet l uder θ0, idser ma at Y,...,Y θ) C l Y,...,Y θ 0 ) i θ 0 ) ˆθ θ 0 0 Z = 2 l Y,...,Y θ) l Y,...,Y θ 0 ) ˆθ θ 0 ) l Y,...,Y θ) l Y,...,Y θ 0 ) ˆθ θ 0 ) vil kovergere i sadsylighed mod 0. Og dermed vil uder θ0. Eftersom + Z, ˆθ θ 0 = l Y,...,Y θ 0 ) + Z l Y,...,Y θ 0 ), ka vi ved at kombiere lemma 5.7 og lemma 5.8 og evetuelt deltametode til at skaffe forteget af veje) idse de øskede påstad. Modelle fra eksempel 5.5 er som sagt e legetøjsmodel. Me resultatere fra sætig 5.6 og sætig 5.9 holder i e lag, lag række realistiske modeller. Vi opsummerer i e moralsk sætig:.

20 62 Kapitel 5. Asymptotisk estimatiosteori Sætig 5.20 Cramér) Lad Y,..., Y være uafhægige idetisk fordelte variable, hver med fordelig ν θ = f θ µ, hvor θ Θ. Atag at Θ er e åbe delmægde af R k. Uder passede regularitetsforudsætiger vil maksimaliserigsestimatore ˆθ være asymptotisk veldefieret, de vil være kosistet, og de vil opfylde at as ˆθ N θ, ) i θ), 5.4) uaset hvilket θ Θ der er det sade. BEMÆRK: Når parametere θ er k-dimesioal, er de forvetede iformatio e k kmatrix. De asymptotiske varias der optræder i 5.4) er således de iverse iformatiosmatrix i θ). I daglig tale formulerer ma gere Cramérs sætig på de løse måde, at fordelige af ˆθ stort set er e ormalfordelig, hvor middelværdie er de sade parameter θ, og variasmatrice er de iverse iformatiosmatrix, reget ud i de sade parameter. Faktisk gælder Cramérs sætig i e edu bredere ramme ed uafhægige, idetisk fordelte variable. I mage adre modeller, hvor variablee er forskelligt fordelte og/eller afhægige, vokser iformatiosmatrice i θ) proportioalt med, og der er i så fald håb om at ma ka vise e variat af Cramérs sætig. Me detaljere er altid idviklede, og øsker ma at vise at maksimaliserigsestimatore i e kokret model er asymptotisk ormalfordelt, står ma sig æste altid ved at agribe problemstillige direkte via CLT og deltametode) fremfor ved at udersøge de ødvedige regularitetsbetigelser for Cramérs sætig. Når ma udfører statistiske aalyser i stadard programpakkere, vil ma som regel i tilgift til parameterestimatet ˆθ få oplysiger om variase af estimatore - typisk omkodet i form af e liste af margiale stadardafvigelser for hver koordiat af ˆθ og e korrelatiosmatrix mellem de forskellige koordiater. Det ma får givet på dee måde, er stort set altid de iverse iformatiosmatrix reget ud i de estimerede parameter ˆθ. For at ma ka have tillid til dee estimerede varias, kræves tre tig: der skal gælde e variat af Cramérs sætig for de pågældede model, atallet af observatioer skal være så stort at de asymptotiske påstade i Cramérs sætig ka tages for pålydede, og - hvad ma gere overser - iformatiosmatrice iθ) må ikke variere voldsomt med θ. Som kosekves af asymptotiske ormalfordelig i Cramérs sætig, ka ma idetificere e række adre iteressate størrelsers asymptotisk fordelig. F.eks. kvotietteststørrelse:

21 5.3. Asymptotisk ormalitet af MLE 63 Sætig 5.2 I legetøjsmodelle fra eksempel 5.5 gælder at 2 log Qθ 0, Y,..., Y ) = 2 log L Y,...,Y θ 0 ) L Y,...,Y ˆθ ) kovergerer i fordelig mod e χ 2 -fordelig med frihedsgrad uder θ0. BEVIS: Taylorudvikles l Y,...,Y til tredie orde omkrig ˆθ, ser vi at l Y,...,Y θ 0 ) = l Y,...,Y ˆθ ) + l Y,...,Y ˆθ )θ 0 ˆθ ) + 2 l Y,...,Y ˆθ )θ 0 ˆθ ) l Y,...,Y θ)θ 0 ˆθ ) 3. er kostruktio er ˆθ et ulpukt for scorefuktioe, og dermed har vi at 2 log Qθ 0, Y,..., Y ) = 2l Y,...,Y θ 0 ) l Y,...,Y ˆθ )) = l Y,...,Y ˆθ )θ 0 ˆθ ) l Y,...,Y θ)θ 0 ˆθ ) 3 = θ 0 ˆθ ) 2 l Y,...,Y ˆθ ) + ) 3 l Y,...,Y θ)θ 0 ˆθ ) = i θ 0 ) θ 0 ˆθ ) 2 Z hvor vi har idført de stokastiske variabel Z = = l Y,...,Y ˆθ ) + i θ 0 ) 3 l Y,...,Y θ 0 ) + i θ 0 ) l Y,...,Y θ)θ 0 ˆθ ) i θ 0 ) l Y,...,Y ˇθ)ˆθ θ 0 ) + i θ 0 ) 3 for edu et mellempukt ˇθ. Vi ser fra sætig 5.9 at i θ 0 ) θ 0 ˆθ ) wk N0, ). l Y,...,Y θ)θ 0 ˆθ ) i θ 0 ) Ifølge e fudametal sætig om svag koverges, de såkaldte kotiuitetssætig, vil kvadratet i θ 0 )θ 0 ˆθ ) 2 da kovergere svagt mod kvadratet af e stadard ormalfordelig, altså e χ 2 -fordelig med frihedsgrad. Med lidt hådvæve overbeviser ma sig om at Z kovergerer i sadsylighed mod - første led kovergerer

22 64 Kapitel 5. Asymptotisk estimatiosteori mod på grud af store tals lov, de to øvrige kovergerer mod ul på grud af begræsige af de tredie afledede og kosistese af ˆθ - hvorefter e referece til lemma 5.7 færdiggør beviset. å gaske tilsvarede vis ka ma oversætte de geerelle asymptotiske ormalitet af maksimaliserigsestimatore fra Cramérs sætig til koverges i fordelig af kvotietteststørrelse. Vi formulerer det som e moralsk sætig: Sætig 5.22 Lad Y,..., Y være uafhægige idetisk fordelte variable, hver med fordelig ν θ = f θ µ, hvor θ Θ. Atag at Θ er e åbe delmægde af R k. Uder passede regularitetsforudsætiger vil 2 log Qθ 0, Y,..., Y ) = 2 log L Y,...,Y θ 0 ) L Y,...,Y ˆθ ) kovergere i fordelig mod e χ 2 -fordelig med k frihedsgrader uder θ0. Ma ka diskutere hvor vigtig Cramérs sætig er i det daglige statistiske arbejde. Des vigtigste rolle er formetlig etop moralsk, som e afstivig for take. Sætig 5.22 og des slægtige er derimod helt afgørede for praktisk statistik. Næste hver eeste kostruktio af et kofidesområde og æste hvert eeste kokret geemført test vil, som vi skal se i de kommede kapitler, hæge på at ma ka stole på budskabet i dee sætig. 5.4 Opgaver OGAVE 5.. Lad X, X 2,... være e følge af stokastiske variable med værdier i R k, og atag at X a. Lad g : R k R m være e målelig fuktio, der er kotiuert i puktet a. Vis at gx ) ga). OGAVE 5.2. Lad X, X 2,... og Y, Y 2,... være to følger af stokastiske variable med værdier i R k. Vis at hvis X a, Y b,

23 5.4. Opgaver 65 så vil de sammebudtede variable X, Y ) i R 2 k opfylde at ) ) X a. b Y OGAVE 5.3. Lad x ) N være e reel talfølge, og lad x R. Vis at x x for hvis og ku hvis wk ɛ x ɛ x for. OGAVE 5.4. Lad ν, ν, ν 2,... være sadsylighedsmål på R, B), og lad F, F, F 2,... være de tilhørede fordeligsfuktioer. SGM 5.4a). Vis at hvis ν wk ν, så vil lim sup F x) Fx) for alle x R. Vik: fid for hvert x og hvert ɛ > 0 e kotiuert, begræset fuktio g så,x] y) gy),x+ɛ] y) for alle y R. SGM 5.4b). Vis at hvis ν wk ν, og hvis F er kotiuert i x, så vil F x) Fx) for. 5.5) Fid et eksempel, der viser at 5.5) ikke behøver at gælde i alle pukter hvis F har diskotiuiteter. OGAVE 5.5. Lad ν, ν, ν 2,... være sadsylighedsmål på R, B), og lad F, F, F 2,... være de tilhørede fordeligsfuktioer. Vis at hvis F x) Fx) for for alle x, så vil f dν f dν for for alle fuktioer af forme a,b]. Vis at ehver kotiuert fuktio R R med kompakt støtte ka approksimeres uiformt med liearkombiatioer af disse idikatorfuktioer, og brug det til at vise at ν wk ν. OGAVE 5.6. Lad ν, ν, ν 2,... være sadsylighedsmål på R, B), og lad F, F, F 2,... være de tilhørede fordeligsfuktioer. Atag at ν wk ν. Lad p 0, ) være fast

24 66 Kapitel 5. Asymptotisk estimatiosteori valgt, og atag at F har e etydigt bestemt p-fraktil x. Vælg for hvert N e p-fraktil x for F. Vis at x x for. Vik: brug opgave 5.4. Vis at for fast ɛ må F x + ɛ) > p for stor ok, og slut at x < x + ɛ fra et vist tri. OGAVE 5.7. Atag at ν = f µ for alle og at ν = f µ. Vis at hvis for µ-æste alle x, så vil ν wk ν. f x) f x) for OGAVE 5.8. Lad X,..., X være uafhægige reelle stokastiske variable, idetisk fordelte med tæthed { a x a for x 0, ) f x) = 0 ellers hvor a > 0 er e ukedt parameter. Sæt SGM 5.8a). Opskriv likelihoodfuktioe og log-likelihoodfuktioe. Fid scorefuktioe og iformatiosfuktioe. SGM 5.8b). Fid de forvetede iformatio. SGM 5.8c). Gør rede for at der er e etydig maksimaliserigsestimator â, og skriv de op. SGM 5.8d). Gør rede for at â er asymptotisk ormalfordelt, og agiv de asymptotiske parametre. X = i= X i, ã = X X. SGM 5.8e). Gør rede for at ã er asymptotisk ormalfordelt, og agiv de asymptotiske parametre. SGM 5.8f). Sammelig estimatorere â og ã for a. OGAVE 5.9. Betragt modelle for afskåre ekspoetialfordeliger fra eksempel 2.5 Vi følger otatioe fra eksemplet, og lader Y i være de uderliggede ekspoetialfordelte variable, og X i de afskåre variable, hvor der afskæres ved 300. Vi har i otere opstillet tre estimatorer for de uderliggede parameter λ, to mometestimatorer givet ved hhv. 4.) og 4.2), og maksimaliserigestimatore, givet ved formle p. 28, der uheldigvis ikke har fået oget ummer.

25 5.4. Opgaver 67 SGM 5.9a). Vis at estimatore givet ved 4.) er asymptotisk ormalfordelt, og bestem de asymptotiske parametre. SGM 5.9b). Vis at estimatore givet ved 4.2) er asymptotisk ormalfordelt, og bestem de asymptotiske parametre. SGM 5.9c). Fid middelværdi og varias af de todimesioale variabel X i, Yi <300) SGM 5.9d). Gør rede for at i= X i i= Yi <300), er asymptotisk ormalfordelt, og bestem de asymptotiske parametre. SGM 5.9e). Vis at maksimaliserigsestimatore for λ er asymptotisk ormalfordelt, og bestem de asymptotiske parametre. SGM 5.9f). Diskuter hvilke af de tre estimatorer, ma bør bruge i praksis.

26 68 Kapitel 5. Asymptotisk estimatiosteori