Lokal estimationsteori

Transkript

1 Kapitel 5 Lokal estimationsteori 5.1 Konsistens Vores første delmål er at sikre at regularitetsbetingelserne medfører at den reskalerede konkordanskombinant med meget stor sandsynlighed har en positivt definit andenafledede overalt i en på forhånd fastlagt omegn af nul. Desværre løber vi øjeblikkeligt ind i målelighedsproblemer, hvis vi ikke er meget omhyggelige. Vi ville for det første gerne sige at ( D 2 h n (X n,ξ)>0 ) F, (5.1) for alle n, alleθ og alle c>0, og dernæst at ( P θ D 2 h n (X n,ξ)>0 ) 1 for n. (5.2) Den første påstand er for så vidt korrekt: med tilstrækkeligt meget arbejde kan man overbevise sig selv om at ( D 2 h n (X n,ξ)>0 ) = (D 2 h n (X n,ξ) 1m ) I, (5.3) m=1ξ Q k : ξ <c ved at trække på C 2 -antagelsen om h n. Men der optræder en række tilsvarende store mængder i det følgende, og de er ikke nødvendigvis målelige alle sammen. Derfor 89

2 90 Kapitel 5. Lokal estimationsteori bliver vores strategi at vi formulerer os om hændelser der er lidt mindre end hvad vores egentlige interesse tilsiger, men som vi til gengæld uden problemer kan se er målelige. Hvis vi kan vise at disse mindre hændelser også er store, så vil det lade os drage de ønskede konklusioner Sætning 5.1 Antag at modellen og reskaleringsskemaet opfylder Regularitetsbetingelse A og B. For alleθ, alle c>0 og alle n kan vi finde en hændelse D n F så ( D n D 2 h n (X n,ξ)>0 ), (5.4) og sådan at disse hændelser opfylder at P θ (D n ) 1 for n. Bevis: Lad F være grænsebilinearformen for D 2 h n (X n, 0) fra Regularitetsbetingelse A. Da F er positivt definit kan vi ifølge lemma 3.24 finde etǫ> 0 så G F <ǫ G>0, (5.5) for alle symmetriske bilinearformer G. Betragt de to følger af hændelser A n = ( ) D 2 h n (X n, 0) F < ǫ 2 B n = ( sup D 2 h n (X n,ξ) D 2 h ) n (X n, 0) < ǫ 2 Fra Regularitetsbetingelse A, henholdsvis B, følger det at P θ (A n ) 1, P θ (B n ) 1 for n. Sæt D n = A n B n. Det er klart at sandsynligheden for D n konvergerer mod 1, så det interessante er at redegøre for at D n opfylder (5.4). Men hvis hændelsen D n er indtrådt, ser vi for et vilkårligtξ B(0, c) at D 2 h n (X n,ξ) F D 2 h n (X n,ξ) D 2 h n (X n, 0) + D 2 h n (X n, 0) F <ǫ. Dermed vil D 2 h n (X,ξ)>0 ifølge (5.5), præcis som ønsket.

3 5.1. Konsistens 91 Næste punkt på dagsordenen er at gøre rede for at h n (X n,ξ) med stor sandsynlighed har et stationært punkt i B(0, c). Kombineret med den positivt definitte andenafledede vil det ifølge sætning 3.23 sikre at der findes et entydigt bestemt minimum for h n (X n,ξ) i B(0, c). Vi løber ind i samme type målelighedsproblem som i sætning 5.1, fordi ( h n (X n,ξ)=0 for mindst étξ med ξ <c ) = ( h n (X n,ξ)=0 ) er en overtællelig foreningsmængde af målelige mængder. I princippet kunne vi godt omskrive det til en kompliceret tællelig forening, men vi vælger igen at løse problemet ved at fokusere på lidt mindre hændelser. Men der opstår et nyt problem, der har at gøre med at h n (X n, 0) i grænsen skal opfattes som en ikke-degenereret stokastisk variabel, nærmere end som en konstant. Der er en vis sandsynlighed får at man får ekstreme værdier af denne stokastiske variabel, og hvis det sker, så er det urimeligt at forestille sig at et eventuelt nulpunkt for h n (X n,ξ) skulle ligge lige i nærheden af 0 - man skal formentlig ganske langt væk fra 0 for at få fat på dette stationære punkt. Omvendt betyder det at hvis man fokuserer på en fast omegn af 0, så er der en vis sandsynlighed for at det stationære punkt smutter ud af omegnen. Denne sandsynlighed vil naturligvis være mindre, jo større omegn man fokuserer på. Pointen er blot at vi skal være forberedt på at det bliver nødvendigt at skrue på c, hvis vi vil have stor sandsynlighed for at der optræder et stationært punkt i B(0, c). Sætning 5.2 Antag at modellen og reskaleringsskemaet opfylder Regularitetsbetingelse A, B og C. For alleθ og alleǫ > 0 kan vi finde et c>0, et n 0 N og en hændelse E n Fså ( E n h n (X n,ξ)=0 ) for n n 0, (5.6) og sådan at disse hændelser opfylder at P θ (E n )>1 ǫ for n n 0. Bemærk: Man kan formulere n 0 ud af problemstillingen, ved at lade konklusionen være at lim inf n P θ (E n)>1 ǫ. Men man må stadig leve med sætningens lidt besynderlige rækkefølge af kvantorer: Først lægger vi os fast påǫ, og på den baggrund vælger vi c tilpas stor. Når c er valgt, lader vi n gå mod uendelig.

4 92 Kapitel 5. Lokal estimationsteori Bevis: Regularitetsbetingelse C sikrer at vi kan finde et K > 0 så stort at hændelserne C n = ( h n (X n, 0) K ) opfylder at P θ (C n )>1 ǫ 2 for alle n=1, 2,... Lad F være grænsebilinearformen for D 2 h n (X n, 0) fra Regularitetsbetingelse A. Da F er positivt definit kan vi ifølge argumentationen i lemma 3.24 finde etδ>0 og et η>0 så G F <δ G(ξ,ξ) η ξ 2 for alleξ. (5.7) for alle symmetriske bilinearformer G. Vælg nu c > 2K/η. Svarende til dette c kan vi argumentere som i sætning 5.1 og indføre A n = ( ) D 2 h n (X n, 0) F < δ 2 B n = ( sup D 2 h n (X n,ξ) D 2 h n (X n, 0) < δ 2). Det er målelige hændelser med sandsynlighed, der konvergerer mod 1, så vi kan finde et n 0 N så P θ (A n B n )>1 ǫ/2 for alle n n 0. På A n B n vil D 2 h n (X n,ξ ) opfylde betingelsen i (5.7) for ethvertξ med ξ <c. Lad os vise at E n = A n B n C n opfylder der ønskede. Det er klart at denne mængde har det ønskede sandsynlighedsindhold i grænsen hvor n, så vi skal blot vise at (5.6) er opfyldt. For et givet X n vilξ h n (X n,ξ) antage et minimum på den begrænsede, afsluttede kugle B(0, c). Dette minimum kan a priori blive antaget på randen af kuglen, eller det kan blive antaget i et indre punkt af kuglen. Hvis det antages i et indre punkt, så må det nødvendigvis være i et stationært punkt. Så lad os udelukke at minimet bliver antaget på randen. For ethvertξmed ξ =c har vi ifølge sætning 3.20 at der findes etξ (stokastisk, fordi det afhænger af X n ) med ξ <c så h n (X n,ξ)= h n (X n, 0)+ h n (X n, 0),ξ D2 h n ( Xn,ξ ) (ξ,ξ) h n (X n, 0) Kc+ η 2 c2 > h n (X n, 0) hvor vi har brugt Cauchy-Schwarz ulighed til at vurdere førsteordensleddet. Der er altså ingen punkter på randen af kuglen der kan slå h n (X n, 0). Der er sikkkert steder

5 5.1. Konsistens 93 i det indre af kuglen hvor funktionsværdien er lavere end den er i 0 - vi hævder på ingen måde at minimum antages i kuglens centrum. Vi siger blot at minimum hen over kuglen umuligt kan antages på randen. Lad os indføre mængden af lokale minima for den observerede konkordansfunktion, LM n (x)={ψ Ψ ψ er et lokalt minimum for h n (x, )}. Denne mængde kan være tom for visse x-værdier - den kan også have ekstremt mange elementer. Principielt kan man endda forestille sig at LM n (x) har mange elementer, men at h n (x,ψ) ikke antager noget globalt minimum. Lemma 5.3 Antag at modellen og reskaleringsskemaet opfylder Regularitetsbetingelse A, B og C. For alleθ og alleǫ > 0 kan vi finde et n 0 N og en hændelse F n F så F n ( LM n (X n ) ), (5.8) og sådan at disse hændelser opfylder at P θ (F n )>1 ǫ for n n 0. Bevis: Givetǫ kan vi i henhold til sætning 5.2 finde et c>0, et n 1 og en følge af hændelser E n med den egenskab at ( E n h n (X n,ξ)= 0 ), og sådan at disse hændelser opfylder at P θ (E n )>1 ǫ 2 for n n 1. Svarende til det fundne c kan vi ifølge sætning 5.1 finde et n 2 og en følge af hændelser D n så ( D n D 2 h n (X n,ξ)>0 ), og sådan at disse hændelser opfylder at P θ (D n )>1 ǫ 2 for n n 2.

6 94 Kapitel 5. Lokal estimationsteori Hvis D n E n er indtrådt, vil h n (X n,ξ) have et entydigt bestemt ægte minimum i B(0, c). I særdeleshed vil funktionen have mindst ét lokalt minimum. Det er klart at hvis h n (x, ) har et lokalt minimum iξ, så har den uskalerede kombinant h n (x, ) et lokalt minimum iψ + A n 1 ξ. Vi kan altså konkludere at hvis D n E n er indtrådt, så vil LM n (X n ) { ψ Ψ A n (ψ ψ ) <c }. (5.9) Des mere har vi at LM n (X n ). Hvis vi lader F n = D n E n og n 0 = max{n 1, n 2 } har vi derfor etableret det ønskede. Vi kan nu definere forskellige lokale M-estimatorer, svarende til forskellige opfattelser af hvad det betyder at være lokal. To indlysende muligheder er ˆψ n = arg min ψ LMn (X n ) A n(ψ ψ ), og ˇψ n = arg min ψ LMn (X n ) ψ ψ. Her betyder arg min det ψ i den foreskrevne mængde, der minimerer det efterfølgende udtryk. Hvis mængden er tom, eller hvis der af andre grunde ikke er et entydigt bestemt ψ der minimerer udtrykket, så vil vi underforstå at arg min giver et ubestemt resultat. Så formelt er vi nødt til at supplere ovenstående definitioner med regler for hvad vi vil gøre i undtagelsessituationerne. Om et øjeblik viser vi at regularitetsbetingelserne sikrer at ˆψ n - og under rimelige omstændigheder også ˇψ n - er veldefineret med en sandsynlighed, der går mod 1. Så vi har ikke brug for at gøre det store ud af disse undtagelsestilfælde. Men skønt definitionen i det store og hele giver mening, så sikrer den desværre ikke at de resulterende estimatorer er målelige. Med tilstrækkelig meget ond vilje kan man faktisk konstruere modeller hvor de lokale M-estimatorer bliver ikke-målelige, og selv om problemet næppe forekommer i praksis, så er man alligevel nødt til at foretage et antal besværgelser, der kan mane truslen bort. Vi vil simpelthen antage at modellerne opfylder at enhver lokal M-estimator er målelig. Det skal bemærkes at den moderne måde at forholde sig til dette målelighedsproblem, såvel som til dem vi er stødt på tidligere, er at opgive kravet om målelighed. Det kræver at man udvikler en teori for svag konvergens for ikke-målelige stokastiske variable. Et udsagn som (5.2) kan gives mening i denne ramme hvis sandsynligheden af mængden ikke forstås som målet, men som det ydre mål. Man kan formulere både

7 5.1. Konsistens 95 konsistens og asymptotisk normalitet ved hjælp af ydre mål. Og det er i denne ramme man får de pæneste resultater om M-estimatorer. Men ligefrem nemt at arbejde med bliver det ikke... Sætning 5.4 Antag at modellen og reskaleringsskemaet opfylder Regularitetsbetingelse A, B og C. For alleθ vil den lokale M-estimator ˆψ n være veldefineret med sandsynlighed gående mod 1, og den vil være konsistent. Det vil sige: for alleǫ> 0 vil der gælde at P θ ( ˆψ n ψ >ǫ) 0 for n. Bevis: De nødvendige regninger er i det store og hele gennemført i beviset for lemma 5.3. Der fandt vi for givetδ>0 et c>0 og en følge af hændelser F n sådan at P θ (F n )>1 δ fra et vist trin, og sådan at h n (X n,ξ) havde et entydigt minimum i B(0, c) hvis F n var indtrådt. At sige at h n (X n,ξ) har et entydigt minimum i B(0, c) er det samme som at sige at h n (X n,ψ) har et entydigt minimum i{ψ A n (ψ ψ ) <c}. Når denne situation indtræder, er ˆψ n således veldefineret. Vælg n 0 så stor at A n 1 <ǫ/c for n n 0. Vi har at ˆψ n ψ = A n 1 A n ( ˆψ n ψ ) A n 1 A n ( ˆψ n ψ ). Så når n n 0 er den eneste måde hvorpå ˆψ n kan ligge længere endǫ fraψ, at hændelsen F n ikke er indtrådt. Eftersom vi per definition har at ˇψ n ψ ˆψ n ψ, kan vi konstatere at ˇψ n også er en konsistent estimator hvis den er veldefineret. Og det vil den naturligvis som regel være - det eneste problem skulle være at den eventuelt kan være flertydig. Det kan vi udelukke for de fleste modeller. Sætning 5.5 Antag at modellen og reskaleringsskemaet opfylder Regularitetsbetingelse A, B og C, og at reskaleringsskemaet har begrænset distortion. For alleθ vil der gælde at P θ ( ˆψ n = ˇψ n ) 1 for n.

8 96 Kapitel 5. Lokal estimationsteori Bevis: Antag at A n A n 1 L for alle n. For fast c>0 gælder der at {ψ A n (ψ ψ ) <c} {ψ ψ ψ < A n 1 c} {ψ A n (ψ ψ ) <L c}. (5.10) Ladǫ> 0 være givet. Vi ønsker at finde et n 0 N så P θ ( ˆψ n = ˇψ n )>1 ǫ for n n 0. Ifølge sætning 8.2 kan vi finde c>0, et n 1 N og en sekvens af hændelser E n F sådan at P θ (E n )>1 ǫ for n n 1, 2 og så vi kan være sikre på at h n (X n,ξ) har et nulpunkt i B(0, c). Ifølge sætning 8.1 kan vi finde et n 2 N og en sekvens af hændelser D n F sådan at P θ (D n )>1 ǫ 2 for n n 2, og så vi kan være sikre på at D 2 h n (X n,ξ) er positivt definit i hvert punkt af B(0, L c). Bemærk at vi har ændret radius af kuglen i den nye betingelse. Betingelserne er skruet sådan sammen at hvis hændelsen D n E n er indtrådt, så har h n (X n,ξ) præcis ét stationært punkt i B(0, L c), og dette stationære punkt må faktisk befinde sig i den mindre kugle B(0, c). Oversat til de uskalerede koordinater: hvis D n E n er indtrådt, så ved vi at h n (X n,ψ) har præcis ét stationært punkt i ellipsen { ψ An (ψ ψ ) <L c } og at dette stationære punkt faktisk må befinde sig i den mindre ellipse { ψ An (ψ ψ ) <c } Dette stationære punkt er ˆψ n. Siden ˆψ n befinder sig i den lille ellipse, så sikrer den første inklusion i (5.10) at ˆψ n ψ < A n 1 c. Og da ˇψ n er det stationære punkt, der ligger tættest påψ, må også ˇψ n ψ < A n 1 c.

9 5.2. Asymptotisk fordeling 97 Den anden inklusion i (5.10) sikrer derfor at A n ( ˇψ n ψ ) <L c, det vil sige at ˇψ ligger i den store ellipse. Men den store ellipse indeholder kun ét stationært punkt, og det er ˆψ n. Vi kan derfor konkludere at hvis D n E n er indtrådt, så er ˇψ n = ˆψ n. Og eftersom D n E n indtræder med sandsynlighed mindst 1 ǫ når n max{n 1, n 2 }, så har vi faktisk vist det ønskede. I praksis kan man naturligvis hverken finde ˆψ n eller ˇψ n, for begge dele kræver at man kender den sande værdiψ for at kunne vurdere hvilket stationært punkt der ligger nærmest. Men ofte kan man bruge Hájeks trick: start med en ad-hoc estimatorψ n, f.eks. en momentestimator, og brug ˆψ n = arg min ψ LMn (X n ) ψ ψ. Det er typisk dette trick der bliver brugt i computerprogrammer: man har en form for kvalificeret bud på en startværdi, og denne startværdi modificeres af et antal Newton- Raphson trin (eller noget lignende) indtil man opnår et lokalt minimum for konkordanskombinanten. I mange modeller kan man vise at hvisψ n er konsistent (og det er vitterligt ikke noget særlig svært krav at opfylde) så vil ˆψ n = ˆψ n med sandsynlighed gående mod 1. Men bemærk: det er ingen steder i diskussionen dukket op at det skulle være en god ide at lede efter det globale minimum for konkordanskombinanten. Hvis man vil komme med udsagn i den retning, skal man benytte helt andre metoder end at Taylorudvikle et blow-up omkring den sande værdi, for denne type argument er af natur lokal. 5.2 Asymptotisk fordeling Før vi kan formulere det asymptotiske fordelingsresultat, skal vi have os filtret ud af nogle komplikationer, vi har skabt for os selv ved vores abstrakte forhold til differentialregning. Hvis man formulerede sig lidt mere elementært, ville man sige at

10 98 Kapitel 5. Lokal estimationsteori grænsebilinearformen F er en matrix. Og i så fald kunne man uden problemer invertere F. Vi må i stedet sige at der findes en lineær afbildning Q :R d R d der repræsenterer F, i den forstand at F(ξ 1,ξ 2 )= ξ 1, Qξ 2, hvor, er det sædvanlige indre produkt. At det er muligt, følger af parringen mellem Lin(R d,r) ogr d fra afsnit 2.2.2, på samme måde som vi konstruerede adjungerede afbildninger i afsnit Hvis Qξ= 0 må F(ξ,ξ)=0, og da F er positivt definit, medfører det atξ=0. Heraf følger det at Q er invertibel. Bemærk iøvrigt at da F er symmetrisk, så må Q være selvadjungeret. Lemma 5.6 Antag at modellen og reskaleringsskemaet opfylder Regularitetsbetingelse A, B og C. For alleθ vil der gælde at A n ( ˆψ n ψ )+ Q 1 h n (X n, 0) P 0 for n, under P θ. Bevis: Ladǫ> 0 ogδ>0 være givet. Vi ønsker at finde et n 0 N så ( P θ An ( ˆψ n ψ )+ Q 1 h n (X n, 0) <ǫ ) 1 δ for n n 0. Ifølge sætning 8.2 kan vi finde c>0, et n 1 N og en sekvens af hændelser E n F sådan at P θ (E n )>1 δ for n n 1, 2 og så vi kan være sikre på at h n (X n,ξ) har et nulpunkt i B(0, c) når E n er indtrådt. Ved at kombinere regularitetsbetingelse A og B kan vi finde et n 2 N og en sekvens af hændelser D n F sådan at P θ (D n )>1 δ 2 for n n 2, og så vi kan være sikre på at sup D 2 h n (X n,ξ) F < ǫ c Q 1 (5.11) når D n er indtrådt.

11 5.2. Asymptotisk fordeling 99 Ved om nødvendigt at erstatte konstanten på højre side at (5.11) med en mindre, kan vi også antage at D 2 h n (X n,ξ)>0 for alleξ B(0, c). Hvis D n E n er indtrådt, kan vi således se at ˆξ n er veldefineret og ligger i B(0, c). For hvertξgiver middelværdisætningen med udviklingspunkt ˆξ n i så fald at h n (X n, 0),ξ = h n (X n, ˆξ n ),ξ + D h n (X n,η) (0 ˆξ n ),ξ = 0 D 2 h n (X n,η) (ˆξ n,ξ) for et passende mellempunktη indeholdt i B(0, c). Her har vi brugt sætning 5.17 til at forbinde den førsteafledede af h n med den andenafledede af h n. Vi ser derfor at Q ˆξ n + h n (X n, 0),ξ = F(ˆξ n,ξ)+ h n (X n, 0),ξ = F(ˆξ n,ξ) D 2 h n (X n,η) (ˆξ n,ξ) sup D 2 h n (X n,ξ) F ˆξ n ξ ǫ < c Q 1 c ξ. Ved at tage supremum overξ med ξ =1 får vi derfor at Q ˆξ n + h n (X n, 0) ǫ < Q 1. Det følger at ˆξ n + Q 1 h n (X n, 0) = Q 1 Q ˆξ n + Q 1 h n (X n, 0) Q 1 Q ˆξ n + h n (X n, 0) <ǫ når D n E n er indtrådt. Idet ˆξ n = A n ( ˆψ n ψ ) og idet D n E n indtræffer med en sandsynlighed på mindst 1 δ når n max{n 1, n 2 }, følger det ønskede. Sætning 5.7 Antag at modellen og reskaleringsskemaet opfylder Regularitetsbetingelse A, B og C. For alleθ vil der gælde at under P θ. A n ( ˆψ n ψ ) D Q 1 Z for n, (5.12)

12 100 Kapitel 5. Lokal estimationsteori Bevis: Når vi dynger Regularitetsbetingelse C oven i de øvrige, så bliver dette meget vigtige asymptotiske fordelingsresultat en triviel konsekvens af lemma 5.6, kombineret med Slutskys lemma. Bemærk at Regularitetsbetingelse C og D siger at Z N(0, Q), hvis vi tillader os at opfatte Q som en matrix. I så fald er konklusionen fra sætning 5.7 at A n ( ˆψ n ψ ) D N ( 0, Q 1) for n. (5.13) Det må man opfatte som en fornuftig generalisering af den klassiske folkelige visdom om at den asymptotiske varians af maksimaliseringsestimatoren er den inverse Fisherinformation. Bemærk iøvrigt hvordan sætning 5.5 uden videre tillader os at overføre det asymptotiske fordelingsresultat til den euklidiske lokale M-estimator ˇψ n hvis reskaleringsskemaet har begrænset distortion.