Estimation. Kapitel 4

Transkript

1 Kapitel 4 Estimation Lad (ν θ ) θ Θ være en parametriseret statistisk model på (X, E). I dette kapitel skal vi diskutere, hvorledes man ud fra en given observation x X kan give et skøn over værdien af den ukendte parameter θ Θ. Mange andre end statistikere gætter på værdien af ukendte parametre. Faktisk er det den primære aktivitet i forbindelse med det store flertal af videnskabelige undersøgelser. Og der er ingen grund til at tro at statistikere gætter specielt præcist: tværtimod vil det ofte være sådan at folk med forstand på det felt der ligger bag det konkrete eksperiment, har en intuition der tillader dem at fortolke data på en måde, der udmønter sig i et meget præcist gæt. Det er simpelthen ikke den formelle statistiks gebet at beskæftige sig med hvor godt et konkret gæt er. Statistikeren forsøger derimod at forholde sig til den måde der gættes på - han forsøger at komme med meningsfulde udsagn om hvor godt den måde der gættes på virker. Ikke så meget i det konkrete tilfælde, som i det lange løb, i forbindelse med gentagelser af eksperimentet. Den intuition, som tillader videnskabsfolk at gætte på parametre, har næsten altid en mekanisk komponent, en regel. Og som statistiker analyserer man effektiviteten af sådanne gætteregler. Nogle regler fungerer godt, i den forstand at de næsten altid giver resultater i nærheden af den sande parameter. Hvis man har brugt en sådan gætteregel, så kan man have en høj grad af tillid til sit gæt. Andre regler rammer ofte langt fra den sande parameter. Hvis man har brugt en sådan gætteregel, så vil man ikke have nær så stor tiltro til 102

2 4.1. Estimatorer 103 sit eget skøn. Det må stå klart for læseren at statistikerens centrale problemfelt er at beskrive fordelingen af gættene fra en konkret gætteregel, og at sammenligne disse fordelinger for forskellige regler. 4.1 Estimatorer Gætteregler formaliseres i begrebet estimatorer. Det er ikke blot en parameterværdi der associeres med en konkret observation, det er en kobling af en parameterværdi til enhver potentiel observation: Definition 4.1 Lad (ν θ ) θ Θ være en parametriseret statistisk model på (X, E). En estimator af θ er en afbildning t : X Θ. En konkret værdi t(x) kaldes et estimat. I alle de tilfælde vi vil betragte i disse noter, har parametermængden Θ en naturlig σ-algebra - det typiske tilfælde er at Θ R k for et passende k, og dermed arver Θ en Borelalgebra. I så fald vil man altid insistere på at estimatorer er målelige afbildninger. Det er ganske vist et markant tema i moderne statistik at slække på målelighedsantagelser for estimatorer - men den slags julelege gør sandt at sige ikke tingene teknisk enklere. Hvis vi har formuleret modellen ved hjælp af en stokastisk variabel X, defineret på et baggrundsrum (Ω, F) med en familie (P θ ) θ Θ af sandsynlighedsmål, så kan vi betragte den sammensatte variabel ˆθ = t(x). Terminologien er altså at når vi ser på estimatoren som en konkret punktafbildning, så bruger vi bogstaver som t, s, etc., mens vi bruger betegnelser som ˆθ, θ, ˇθ når vi ser på estimatoren som stokastisk variabel med værdier i Θ. Denne tankegang er illustreret i figur 4.1. Definition 4.1 indeholder ingenting der sikrer at estimatoren på nogen måde er fornuftig. En gætteregel hvor man gætter på en på forhånd valgt parameterværdi, uanset hvilken observation man får, opfylder formelt set definition 4.1, og er således en estimator - man kunne tale om en fordomsfuld estimator. Når man vil studere om en konkret estimator er meningsfuld, må man undersøge fordelingen af estimatoren, det

3 104 Kapitel 4. Estimation PSfrag replacements X (Ω, F) (X, E) P θ ˆθ ν θ Θ θ t ˆθ = t X Figur 4.1: En estimator t er en afbildning fra et eksperiments repræsentationsrum over i parameterrummet. Sammensættes denne afbildning med den stokastiske variabel, der repræsenterer eksperimentet, kan vi opfatte estimatoren som en stokastisk variabel ˆθ. vil sige familien af sandsynlighedsmål t(ν θ ) for θ Θ. Et naturligt krav til estimatoren t er, at sandsynlighedsmålet t(ν θ ) er koncentreret omkring θ for ethvert θ Θ. Vi vil undersøge forskellige præciseringer af denne ide i afsnit 4.2. Lad os understrege at definition 4.1 er en skrivebordsdefinition. I praksis bruger man ordet estimator på en meget friere måde, og der er næppe en eneste i praksis anvendt estimator, der faktisk opfylder definition 4.1. Problemet er at der altid er en undtagelsesmængde A X, en mængde af potentielle observationer, som ikke giver mulighed for at man kan sige noget meningsfuldt om parameteren. Det kan man så forholde sig til på to måder. Man kan enten betragte undtagelsesmængden A som bestående af panikobservationer, hvorpå estimatoren t slet ikke er defineret (svarende til at man ikke ved hvad man skal stille op). Eller man kan tillade at estimatoren pro forma antager værdier udenfor Θ - hvis Θ R k kan man lade estimatoren være en afbildning t : X R k. I så fald er undtagelsesmængden de potentielle observationer der giver anledning til et parameterestimat udenfor parametermængden Θ. Den sidste udvej er nemmest at behandle matematisk, for man kan i så fald stadig tale om fordelingen af estimatoren - den mulighed falder som regel væk hvis estimatoren ikke er defineret overalt. Men man skal være opmærksom på at vigtige egenskaber ved fordelingen af estimatoren kan være udtryk for hvad estimatoren gør på undtagelsesmængden t 1 (Θ c ).

4 4.1. Estimatorer 105 En estimator med en stor undtagelsesmængde, er naturligvis uhensigtsmæssig. Hvis A X er undtagelsesmængden, gælder det om at ν θ (A) er lille for alle θ Θ - eller i hvert fald for mange θ-værdier. Mange naturlige estimatorer har det heldigvis sådan at ν θ (A) = 0 for alle θ Θ, og så kan man helt se bort fra problematikken med undtagelsesmængder. Vi vil nu give eksempler på estimatorer i nogle simple statistiske modeller. Estimatorerne har alle ad hoc karakter, og skal ikke tages for alvorligt. Men bemærk at problemet med undtagelsesmængder dukker op af sig selv i alle eksemplerne. Eksempel 4.2 Lad os betragte den simple eksponentialfordelingsmodel, hvor vi har uafhængige reelle stokastiske variable X 1,..., X n der hver især er eksponentialfordelt med en ukendt middelværdi λ > 0, der ønskes estimeret. Hvis λ er den sande parameter er summen X X n Γ-fordelt med formparameter n og skalaparameter λ. I særdeleshed har den middelværdi nλ, og derfor er en intuitivt fornuftig estimator gennemsnittet ˆλ = 1 n X i. Mere formelt betragter vi altså afbildningen t : R n R givet ved t(x 1,..., x n ) = 1 n x i, som estimator, og sætter ˆλ = t(x 1,..., X n ). Det førnævnte fordelingsresultat for X X n sikrer at hvis λ er den sande parameter, så har ˆλ middelværdi og varians E λ (ˆλ) = λ, V λ (ˆλ) = λ2 n. Dette resultat fortæller at ˆλ er ganske koncentreret om den sande parameter - uanset hvad den sande parameter er. Bemærk at estimatoren bliver bedre, i den forstand at variansen bliver mindre, des flere observationer der er. Problemet med undtagelsesobservationer springer straks i øjnene: observationen ( 1,..., 1) giver en t-værdi på 1 - udenfor parametermængden. Mange andre punkter i R n giver også t-værdier uden for (0, ). På den anden side er det klart

5 106 Kapitel 4. Estimation at problemet er fiktivt: Modellen fortæller os at med sandsynlighed 1 vil samtlige observationer være positive. Og hvis samtlige observationer er positive, så vil t-værdien også være positiv. Hvis blot en eneste observation er ikke-positiv, så er den relevante reaktion fra statistikeren ikke at begynde at udregne t-værdien, men at forkaste modellen og finde på en ny og bedre. Så skønt problemet med undtagelsesmængden eksisterer ud fra et strengt formelt synspunkt, så er det irrelevant i praksis. En alternativ estimator kunne baseres på at medianen for standard eksponentialfordelingen er log 2. Dermed er medianen for eksponentialfordelingen med skalaparameter (og middelværdi) λ lig λ log 2. På baggrund af observationerne X 1,..., X n kan man opstille den empiriske median - hvis n er ulige er det nemt, hvis n er lige er der flere muligheder for hvordan den vælges. Denne median er formentlig omtrent λ log 2, og derfor er en intuitivt fornuftig estimator af λ λ = Emp. med(x 1,..., X n ). log 2 I figur 4.2 har vi optegnet resultaterne fra et simulationsforsøg, der sammenligner ˆλ og λ. I eksperimentet har vi 200 gange genereret 11 hhv. 101 uafhængige observationer fra en eksponentialfordeling med middelværdi λ = 2, og på den baggrund regnet såvel ˆλ som λ ud. Det virker som om λ er en smule mere variabel end ˆλ og derfor oftere rammer ved siden af. Men der er også adskillige tilfælde hvor λ ligger tættest på det sande λ. Vi konstaterer at begge estimatorer rammer bedre, jo flere observationer de baseres på. En tredie estimator kan baseres på følgende resultat: hvis λ er den sande parameter, så er min(x 1,..., X n ) eksponentialfordelt med parameter λ/n. Derfor kunne vi bruge estimatoren ˇλ = n min(x 1,..., X n ). Vi ser at E λ (ˇλ) = λ, V λ (ˇλ) = λ 2. Denne estimator er ikke snævert koncentreret om den sande parameter, i særdeleshed forbedres dens præcision ikke af at der kommer flere observationer! Der kan ikke være nogen tvivl om at ˇλ er en dårligere estimator end ˆλ. I figur 4.3 har vi optegnet resultaterne fra et simulationsforsøg, der sammenligner ˆλ, λ og ˇλ. I eksperimentet har vi gange genereret 11 hhv. 101 uafhængige observationer fra en eksponentialfordeling med middelværdi λ = 2, og på den baggrund regnet de tre estimatorer ud. Det er klart at ˇλ er en dårligere estimator end de

6 4.1. Estimatorer 107 λ PSfrag replacements n = ˆλ λ PSfrag replacements n = ˆλ Figur 4.2: En sammenligning af ˆλ og λ fra eksempel 4.2 på de samme data. I eksperimentet har vi 200 gange genereret 11 hhv. 101 uafhængige observationer fra en eksponentialfordeling med middelværdi λ = 2, og på den baggrund regnet såvel ˆλ som λ ud. to øvrige. I særdeleshed er det uheldigt at den bliver ved med at fungere lige dårligt, uanset hvor mange observationer der gøres. Ikke desto mindre vil ˇλ være det bedste estimat af de tre for enkelte af de simulerede datasæt! Bruger vi figur 4.3 til at sammenligne ˆλ og λ konstaterer vi igen at ˆλ nok er at foretrække, fordi den varierer mindre om den sande parameterværdi end λ. I eksempel 4.2 kunne vi uden stort besvær konstruere tre estimatorer: en baseret på momentovervejelser, en baseret på midterfraktiler, og en baseret på ekstreme fraktiler. Lignende estimatorer kan konstrueres i de fleste andre modeller, men det falder forskelligt ud fra model til model hvilken af disse estimatorer der fungerer bedst. I mange tilfælde er medianbaserede estimatorer rigtig gode, skønt det er svært at vise præcise resultater om dem. Estimatorer baseret på ekstreme fraktiler er derimod sjældent gode - de er i almindelighed for variable. Eksempel 4.3 Lad os betragte møntkastmodellen, hvor vi har uafhængige reelle stokastiske variable X 1,..., X n med P(X i = 1) = p, P(X i = 0) = 1 p for i = 1,..., n.

7 108 Kapitel 4. Estimation n = 11 n = 101 PSfrag replacements PSfrag replacements ˆλ λ ˇλ ˆλ λ ˇλ Figur 4.3: En sammenligning af ˆλ, λ og ˇλ fra eksempel 4.2. I eksperimentet har vi gange genereret 11 hhv. 101 uafhængige observationer fra en eksponentialfordeling med middelværdi λ = 2, og på den baggrund regnet de tre estimatorer ud. Parameteren p (0, 1) ønskes estimeret. En intuitivt oplagt estimator får man ved at bruge gennemsnittet ˆp = 1 X i. (4.1) n Formelt betragter vi altså afbildningen t : {0, 1} n [0, 1] givet ved t(x 1,..., x n ) = 1 n x i, og vi sætter ˆp = t(x). Vi ser at hvis p er den sande parameter, så er n ˆp binomialfordelt med længde n og succesparameter p, og dermed er E p ( ˆp) = p, V p ( ˆp) = p(1 p). n Vi ser således at ˆp er ganske koncentreret om den sande parameter, og derfor en udmærket estimator. Det er i dette tilfælde faktisk svært at finde på andre estimatorer, der har den mindste grad af rimelighed over sig. Men bemærk at ˆp i høj grad har et problem med potentielt giftige observationer: hvis vi har observeret lutter 0 er eller lutter 1 ere, så havner estimatet udenfor parametermængden. Vi føler ikke at problemet er ødelæggende, for uanset hvilket p der er sandt, så vil P p (X (0,..., 0)) P p (X (1,..., 1)) 1

8 4.1. Estimatorer 109 blot n er stor nok. Og hvad skal man i øvrigt stille op, hvis man har observeret lutter 0 ere? Hvordan skulle man på den baggrund kunne komme med et plausibelt gæt på p? Man kan selvfølgelig udvide parametermængden til [0, 1], og så gætte på p = 0. Men så siger man, at man tror på at der i al fremtid kun vil optræde 0 ere. Det forekommer at være en lidt for drastisk prognose. Hvad man med en vis troværdighed i behold kan sige, er at der fremover formentlig vil gå lang tid imellem 1-tallerne. Men ikke at de aldrig vil dukke op. Så derfor giver det god mening at pille disse ekstreme observationer ud, og sige at vi på den baggrund ikke vil komme med et egentligt estimat. Problemet med giftige observationer bliver endnu værre, hvis vi parametriserer møntkastmodellen ved hjælp af odds i stedet for successandsynlighed. Da er P(X i = 1) = θ θ + 1, P(X i = 0) = 1 θ + 1 for i = 1,..., n, hvor parameteren θ (0, ) ønskes estimeret. En helt naturlig estimator er ˆθ = n X i n n X i, (4.2) altså antallet af observerede succeser divideret med antallet af observerede fiaskoer. Og denne estimator fungerer da også rigtig godt. Undtagen hvis man har observeret lutter fiaskoer, i hvilket tilfælde ˆθ havner uden for parametermængden. Og i særdeleshed undtagen hvis man har observeret lutter succeser, i hvilket tilfælde nævneren er nul, og ˆθ ikke kan tillægges nogen naturlig mening - medmindre man kan accepterer. De modeller vi indtil nu har udviklet estimatorer for, har været specielt simple derved at parameteren har været etdimensional. I praksis er parameteren altid flerdimensional, og det kræver mere omtanke at skrive gode estimatorer ned. Eksempel 4.4 Betragt den simple normalfordelingsmodel, hvor X 1,..., X n er uafhængige reelle stokastiske variable, der hver især er N(ξ, σ 2 )-fordelt med ukendt middelværdi og varians, som vi ønsker estimeret. Hvis (ξ, σ 2 ) er den sande parameter, så er X = 1 X i n

9 110 Kapitel 4. Estimation N(ξ, σ 2 /n)-fordelt, og dermed en fornuftig estimator for ξ. Tilsvarende er SSD = (X i X ) 2 χ 2 -fordelt med n 1 frihedsgrader og skalaparameter σ 2, så 1 SSD (4.3) n 1 er en fornuftig estimator for σ 2 - den har i hvert fald den rigtige middelværdi. En estimator for den samlede parameter (ξ, σ 2 ) er altså (ˆξ, σˆ 2 ) = (X, SSD ). (4.4) n 1 Der er de sædvanlige formelle problemer med at visse - i princippet mulige - udfald giver estimater uden for parameterområdet. I dette tilfælde bliver SSD = 0 hvis alle observationerne er ens, i hvilket tilfælde vi ledes til at gætte på at σ 2 = 0. Heldigvis er der sandsynlighed 0 for at alle observationerne er ens, uanset hvad det sande (ξ, σ 2 ) er. Estimatoren (4.4) er baseret på momentovervejelser. Man kan tilsvarende konstruere estimatorer baseret på fraktiler. For eksempel vil den empiriske median af X 1,..., X n være en udmærket estimator af ξ. Tilsvarende kan man bruge at afstanden mellem 33%- og 66%-fraktilen i en N(ξ, σ 2 )-fordeling er 0.86 σ til at konstruere en estimator for σ 2. Hvis vi for eksemplets skyld antager at der er 11 observationer, kunne en fraktilbaseret estimator være ( ξ, σ 2 ) = ( ) X X(8) X 2 (4) (6), I dette tilfælde vil den fraktilbaserede estimator fungere en anelse dårligere end (4.4), i andre modeller vil fraktilbaserede estimatorer være momentbaserede estimatorer overlegne. I eksempel 4.4 faldt det naturligt at estimere en flerdimensional parameter ved at estimere hver parameterkoordinat for sig. Det ligger strengt taget uden for de rammer vi har skitseret indtil nu, men lader sig let formalisere:

10 4.2. Kriterier for gode estimatorer 111 Definition 4.5 Lad P være en statistisk model på (X, E), og lad τ : P Ψ være en parameterfunktion. En estimator af τ er en afbildning s : X Ψ. Lad (ν θ ) θ Θ være en parametrisering af modellen. Det er da naturligt at tænke på parameterfunktionen som defineret på Θ (skønt det er et brud med de formelle regler). Vi vil opfatte s som en god estimator for τ, hvis fordelingen s(ν θ ) er koncentreret om den sande τ-værdi τ(θ). Selve definitionen skal tages med et gran salt, i praksis vil der som regel være problemer med undtagelsesmængder. PSfrag replacements X (Ω, F) (X, E) Θ P θ θ τ s ν θ Ψ Figur 4.4: En estimator s for en parameterafbildning τ : Ω Ψ er en afbildning fra et eksperiments repræsentationsrum over i Ψ. Afbildningen kan sammensættes med den stokastiske variable X, og vi taler da om ˆτ = s X. En i princippet farbar vej til at estimere en parameterfunktion τ : Θ Ψ er at producere en estimator t : X Θ af selve parameteren θ, og så benytte τ t som estimator for τ. Men som vi så i eksempel 4.4 vil man i praksis lige så ofte gå den modsatte vej, og sammenstykke en estimator af selve parameteren udfra en række estimatorer af parameterfunktioner. 4.2 Kriterier for gode estimatorer Definition 4.6 Lad (ν θ ) θ Θ være en parametriseret statistisk model på (X, E), og lad τ : Θ R være en reel parameterfunktion. En central estimator af τ er en afbildning t : X R der opfylder at E θ (t X) = τ(θ), for alle θ Θ. (4.5)

11 112 Kapitel 4. Estimation I danske lærebøger støder man undertiden på ordet middelret for en central estimator. Man kan bemærke at den valgte parametrisering af modellen ikke er essentiel for definitionen: Alle parametriseringer vil være enige om hvorvidt en konkret estimator er central eller ej. Vi vil også bruge ordet central i forbindelse med k-dimensionale parameterfunktioner τ : Θ R k og tilhørende estimatorer t : X R k. Her skal (4.5) forstås som et vektorudsagn: de to størrelser skal være ens koordinat for koordinat. Hvis Θ R k, kan man således have en central estimator t : X Θ for selve parameteren. Det er en estimator der opfylder at E θ (t X) = θ, for alle θ Θ. At en estimator er central for τ betyder, at dens fordeling vitterligt ligger centreret omkring τ(θ). Det virker intuitivt som en uhyre ønskværdig egenskab: i gennemsnit vil estimatoren give det rigtige resultat. Hvis estimatoren ikke er central, siger vi at den har en vis bias 1. Altså en systematisk fejlvisning, hvilket tydeligvis er af det onde. De fleste ad hoc estimatorer i afsnit 4.1 var da også bygget op omkring centralitet. Ikke desto mindre er det et problematisk begreb. Hvis estimatoren t har en ikkeforsvindende undtagelsesmængde A, hvor estimatet ikke er meningsfuldt, så er t alligevel nødt til at være defineret på A før spørgsmålet om centralitet kan bringes på bane. Og svaret på om t er central, vil afhænge nøje af hvad t rent faktisk gør på A. I modeller med store undtagelsesmænger - og det er som sagt nærmere reglen end undtagelsen - er det således ikke nogen god ide at insistere på centralitet. En mere filosofisk pointe er at centralitet ikke er en ækvivariant egenskab. Lad (ν θ ) θ Θ og (ξ λ ) λ Λ være to injektive parametriseringer af samme model på repræsentationsrummet (X, E). Der findes da som i afsnit 3.4 en eksplicit reparametrisering φ : Θ Λ, sådan at ν θ = ξ φ(θ) for alle θ Θ. (4.6) Lad t være en estimator for θ. Da findes der per ækvivarians en estimator s for λ, givet ved s(x) = φ(t(x)) for alle x X. 1 Bias burde måske hedde skævhed på dansk, skønt den ordrette oversættelse er hildet eller forudindtaget

12 4.2. Kriterier for gode estimatorer 113 Lad os reformulere i klart sprog: to statistikere beskriver det samme eksperiment, men vælger hver deres parametrisering af modellen. De kan dog godt forstå hvad hinanden siger, der er en entydig oversættelse i form af reparametriseringen φ. Hvis den ene statistiker konstruerer en estimator t af sin yndlingsparameter, så oversætter den anden statistiker denne estimator til s af sin parameter - og de to statistikere er i virkeligheden enige om hvordan der estimeres, skønt de formulerer sig med hver deres sprogbrug. Dette forhold kalder vi ækvivarians. Men de to statistikere er ikke nødvendigvis enige om hvorvidt den konstruerede estimator er central. Eksempel 4.7 Eksponentialfordelinger er ofte parametriseret ved deres middelværdi λ. Men i mange sammenhænge, er det lige så naturligt at parametrisere dem ved hjælp af deres hazardrate r = 1 λ. Hvis X 1,..., X n er uafhængige eksponentialfordelte variable med middelværdi λ, så har vi set at ˆλ = 1 X i n er en central estimator af λ - denne estimator er Γ-fordelt med formparameter n og skalaparameter λ/n = 1/nr. Den ved ækvivarians dannede estimator for r bliver ˆr = 1/ˆλ. Men ˆr er ikke en central estimator for r. Hvis n 2 ser vi nemlig at E(ˆr) = 0 = (nr)n Γ(n) 1 z (nr) n Γ(n) zn 1 e nrz dz = (nr)n Γ(n) Γ(n 1) (nr) n 1 = n n 1 r. 0 z n 2 e nrz dz Den centrale estimator for middelværdien, giver altså anledning til en estimator af hazardrate, der skyder en anelse over målet. Iøvrigt går det helt galt hvis n = 1, for her viser ovenstående regninger at ˆr slet ikke har middelværdi! Hvis t : X Θ R k er en central estimator for θ, kan vi vurdere hvor præcis estimatoren er, ved at udregne V θ (t X). Denne størrelse fortæller hvor spredt observationer af t X falder omkring den sande værdi θ. Hvis t 1, t 2 : X Θ er to centrale estimatorer for θ, og V θ (t 1 X) V θ (t 2 X) for alle θ Θ (4.7)

13 114 Kapitel 4. Estimation så er t 1 en bedre estimator end t 2. Når man skal sammenligne estimatorer i praksis, så risikerer man selvfølgelig at (4.7) er opfyldt med skarp ulighed for visse θ-værdier, mens den modsatte skarpe ulighed gælder for andre θ-værdier - i så fald skal der andre argumenter til for at vælge mellem de to estimatorer. Der findes en hel del teori for centrale estimatorer. De teoretiske resultater fokuserer især på centrale estimatorer med mindst mulig varians, såkaldte MVUE er (Minimal Variance Unbiased Estimator): hvilke modeller har sådanne MVUE er, er de entydige, hvordan ser de ud, etc. Cramér-Raos sætning spiller en central rolle i denne teori, for hvis t er en central estimator for den etdimensionale parameter θ, så er E θ (t X) = θ for alle θ, og dermed er E θ (t X) = 1. Cramér-Raos ulighed bliver i dette tilfælde at V θ (t X) 1 for alle θ Θ. i(θ) Informationen bestemmer altså hvor præcise man overhovedet kan forestille sig centrale estimatorer - i god overensstemmelse med vores tidligere sammenknytning af information og parameterfølsomhed. En udvidelse af varianssammenligningskriteriet til ikke-centrale estimatorer er at se på den gennemsnitlige kvadratafvigelse (MSE for mean squared error). Den er defineret ved MS E(θ) = E θ (t X θ) 2. For hvert θ Θ er der tale om et 2. moment om en fast værdi, og derfor er MS E(θ) = V θ (t X) + ( E θ (t X) θ )2. Vi har altså dekomponeret MSE i et led der repræsenterer estimatorens varians og et led der repræsenterer kvadratet på estimatorens bias. For en central estimator er MSE således lig med V θ (t X). Hvor vigtig en størrelse MSE er, kan diskuteres. Som centralitet er det et begreb der kun giver mening for globalt definerede estimatorer, og det kræver endvidere at de relevante 2. momenter eksisterer. Men accepterer man MSE som en nyttig målestok for præcision, kan man indse at centralitet måske ikke er så vigtig endda. Ved at tillade en lille bias kan man nogen gange begrænse variabiliteten så meget, at det samlede resultat er en formindsket MSE. Man taler om en bias/varians afvejning. En helt anden tilgang til at vurdere en estimator er at fokusere på fraktiler fremfor momenter. En estimator t : X R for en reel parameterfunktion τ : Θ R kan

14 4.3. Momentestimatorer 115 vurderes ved at vi for hvert θ finder fordelingen af t X τ(θ) under P θ, og lokaliserer medianen i denne fordeling. Denne størrelse kaldes MAD(θ), hvor forkortelsen står for median absolute deviation. Fra et regnemæssigt synspunkt er denne tilgang flere størrelsesordner sværere end at skulle finde momenter. Men det har den fordel at medianen er relativt immun overfor fejlobservationer, herunder de fejl der opstår fordi man skal definere estimatoren også for de observationer der ikke giver nogen information. Sådanne metoder kaldes robust statistik. 4.3 Momentestimatorer Som vi har set i afsnit 4.1, kan man i simple modeller ofte konstruere en estimator uden at man behøver at tænke sig særligt godt om. Men når modellerne kompliceres, er det ikke altid lige til at se hvor man skal gribe fat - hvis man ikke udvikler en teori for hvordan estimatorer kan/bør vælges, så bliver man afhængig af at kunne producere et lyst indfald på kommando. Igennem statistikkens historie er der blevet udviklet en række principper eller paradigmer, for hvordan estimatorer kan fremskaffes relativt mekanisk. Disse paradigmer står i stærk opposition til hinanden. I konkrete modeller kan paradigmerne sagtens være enige om hvilken estimator man bør vælge. I sådanne tilfælde går slagsmålet altså ikke på valget af estimator, men på hvordan man skal begrunde sit valg. I andre modeller er der naturligvis forskel på hvilke estimatorer principperne foreslår. De fleste estimatorer i afsnit 4.1 blev konstrueret udfra centralitet. Vi fandt på ad hoc facon en stokastisk variabel, hvis middelværdi var relateret til den parameterfunktion vi ønskede at estimere. Og ved håndfast manipulation producerede vi en ny variabel, der præcis havde den ønskede middelværdi. Denne tankegang kaldes momentprincippet, og de udviklede estimatorer kaldes momentestimatorer. Faktisk bruges begrebet momentestimatorer gerne i en lidt udvidet betydning: Vi så i afsnit 4.2 at centralitet ikke er en ækvivariant egenskab ved en estimator. Vi udvider derfor klassen af momentestimatorer, indtil den faktisk bliver ækvivariant. Teknisk sker det på følgende måde:

15 116 Kapitel 4. Estimation Definition 4.8 Lad (ν θ ) θ Θ være en parametriseret statistisk model på (X, E), lad τ : Θ R være en reel parameterfunktion, og lad η : R R være en reel funktion. Hvis t : X R er en central estimator af τ, så er η t en momentestimator for parameterfunktionen η τ. Ingredienserne i denne definition er tegnet op i figur 4.5. Man kan godt generalisere definitionen, så de indgående parameterfunktioner ikke behøver at være reelle, men kan antage værdier i R k, men selv uden denne generalisering er definitionen temmelig uoverskuelig. Grundlæggende betyder den blot at en estimator for en parameterfunktion σ(θ) kaldes en momentestimator, hvis den på en eller anden måde er dannet ud fra en central estimator, også selv om denne centrale estimator ikke estimerer σ(θ), PSfrag replacements men en anden parameterfunktion. Vi kræver således ikke at momentestimatoren i sig selv er central, vi kræver faktisk ikke engang at den har middelværdi! X (Ω, F) (X, E) Θ P θ θ τ t ν θ R η R Figur 4.5: Hvis t er en central estimator af parameterfunktionen τ, så er η t en momentestimator for parameterfunktionen η τ. En typisk situation, hvor det er let at lave en momentestimator, er følgende: Man har uafhængige, identisk fordelte variable Y 1,..., Y n - det kan være de originale observationer, eller det kan være transformationer heraf - sådan at E θ Y i = ψ(τ(θ)) for alle i, hvor τ er den parameterfunktion man er interesseret i at estimere, og hvor ψ er en reel funktion. I så fald er 1 Y i (4.8) n naturligvis en momentestimator for parameterfunktionen ψ τ, men det var jo ikke lige der interessen lå. Hvis ψ(x) x for alle x, kan man nogle gange bruge (4.8) som

16 4.3. Momentestimatorer 117 estimator for τ. Men hvis ψ er bijektiv, er en oplagt momentestimator for τ givet ved ˆτ = ψ 1 1 n Y i. (4.9) Eksempel 4.9 Lad os betragte møntkastmodellen, hvor vi har uafhængige reelle stokastiske variable X 1,..., X n med P(X i = 1) = p, P(X i = 0) = 1 p for i = 1,..., n, p (0, 1). Da er gennemsnittet ˆp = 1 n en naturligvis en momentestimator for p - det er jo en central estimator. Hvis vi reparametriserer modellen ved hjælp af odds θ (0, ), så er sammenhængen mellem de to parametriseringer givet ved Derfor er p = ˆθ := X i θ 1 + θ, θ = p 1 p. ˆp 1 ˆp = n X i n n X i en momentestimator for θ. Bemærk at vi fastholder denne sprogbrug selv om ˆθ ikke er central. Faktisk har ˆθ slet ikke 1. moment: hvis vi skal skære helt ind til benet er ˆθ slet ikke globalt defineret, på grund af problemerne med undtagelsesobservationer, som diskuteret i eksempel 4.3. Men det er alligevel en momentestimator for θ. Eksempel 4.10 Lad X 1,..., X n være uafhængige reelle variable, alle Γ-fordelte med ukendt formparameter λ > 0 og skalaparameter 1. Idet E λ X i = λ, er en oplagt central estimator for λ givet som ˆλ = 1 X i. n Vi vil her opstille en anden estimator. Den baserer sig på at E λ log X i = 0 log x Γ(λ) xλ 1 e x dx = Ψ(λ),

17 118 Kapitel 4. Estimation hvor Ψ(λ) er digammafunktionen. Vi ved at digammafunktionen er strengt voksende, og afbilder (0, ) bijektivt på hele den reelle akse. Derfor kan vi konstruere en fornuftig estimator for λ ved at sætte λ = Ψ 1 1 n log X i. Det er umuligt at se det ud fra denne argumentation, men λ er faktisk en bedre estimator end ˆλ. I figur 4.6 har vi sammenlignet de to estimatorer i to situationer hvor det sande λ er 0.5 hhv. 2. I begge tilfælde med n = 100, men n s indvirkning på sammenligningen er faktisk ikke stor. Vi konstaterer at for små λ er er der dramatisk forskel på kvaliteten af de to estimatorer. Forskellen forsvinder for større λ er, men er dog stadig synlig for λ = 2, hvor variansen af λ kun er 75% af variansen af ˆλ. Til gengæld har λ en anelse bias - den er så lille at den ikke rigtig kan ses på figuren. λ = 0.5 λ = 2 PSfrag replacements λ = ˆλ PSfrag replacements λ λ = ˆλ λ Figur 4.6: En sammenligning af ˆλ og λ fra eksempel I eksperimentet har vi gange genereret 100 uafhængige observationer fra en Γ-fordeling med formparameter λ = 0.5 hhv. λ = 2, og på den baggrund regnet såvel ˆλ som λ ud. Det er klart at λ er vanskeligere at udregne end ˆλ. Men ikke uoverkommeligt meget. Digammafunktionen er indbygget i mange computerprogrammer, og det er en relativt smal sag at skrive et program der finder Ψ 1 ud fra Ψ. Man kan i øvrigt også selv skrive et program der udregner digammafunktionen, det handler jo blot om at evaluere et integral numerisk. Når vi understreger disse ting, så er det fordi det er vigtigt at man ikke lader sig afskrække af at en estimator er givet på en kompliceret facon, f.eks. implicit som en løsning til en vis ligning.

18 4.3. Momentestimatorer 119 Eksempel 4.11 I eksempel 2.15 opstillede vi en model for censurerede eksponentialfordelinger, som vi her vil se nærmere på. Lad Y 1,..., Y n være uafhængige, reelle variable, alle eksponentialfordelte med middelværdi λ (0, ). Disse variable er ikke observerede, det er derimod X i = min{y i, 300} for i = 1,..., n. (4.10) De nye variable X 1,..., X n er uafhængige og identisk fordelte, men fordelingen hører ikke til i standard repertoiret, og det er ikke helt nemt at beskrive hvordan fordelingen afhænger af den ukendte parameter λ. Vi kan alligevel forholdsvis simpelt opstille nogle momentestimatorer for λ på baggrund af de potentielt censurerede observationer X 1,..., X n. Vi kan ikke forvente at kunne konstruere en estimator, der vil fungere godt, uanset hvad det sande λ er. Hvis λ er meget stort, er der en overhængende risiko for at samtlige observationer censureres. Hvis det skulle ske, så giver eksperimentet kun ringe mulighed for at skelne mellem de forskellige store parametre, for de har jo alle forudsagt den opståede situation. Om eksperimentet er vellykket, har altså at gøre med om censurtiden t = 300 er så stor i forhold til det sande λ at der faktisk observeres en hel del ikke-censurerede tider. Hvis alt censureres, må det opfattes som en designfejl ved eksperimentet. Sådanne designfejl undgår man typisk ved hjælp af piloteksperimenter. Man skal i hvert fald ikke forvente at en designfejl kan reddes ved hjælp af en mirakuløst god estimator. Den simpleste estimator vi vil udvikle, tager udgangspunkt i antallet af censurerede observationer. Hvis den sande parameter er λ, så er 1 (Y1 300),..., 1 (Yn 300) uafhængige Bernoullivariable med successandsynlighed e 300/λ. Dermed er frekvensen af censurerede observationer 1 n 1 (Yi 300) en central estimator for e 300/λ. Og som i (4.9) ser vi derfor at ˆλ = 300 log ( 1 ) (4.11) n n 1 (Yi 300)

19 120 Kapitel 4. Estimation er en momentestimator for λ. Denne estimator har to typer undtagelsesobservationer: hvis alle observationerne censureres, er den ikke defineret (eller giver værdien ˆλ = om man vil) - dette problem er forventeligt. Mere overraskende er der også problemer hvis ingen observationer censureres. Hvis man ser på de konkrete data fra eksempel 2.15, ser man at 7 ud af 22 aktuarstuderende er censurerede, svarende til ˆλ = 262, mens 11 ud af 27 mat-øk studerende er censurerede, svarende til ˆλ = 334. På forhånd lyder det som en bedre ide at inddrage både de censurerede og de ikkecensurerede observationer. En måde at gøre det på, er at opfatte definition (4.10) på den måde at vi formelt scorer de censurerede observationer som 300. Hvis vi tager denne scoring alvorligt, ser vi at E λ X i = Det leder til at vi betragter parameterfunktionen x 300 λ e x/λ dx λ e x/λ dx = λ(1 e 300/λ ). τ(λ) = λ(1 e 300/λ ), der er strengt voksende, og sender (0, ) bijektivt over i (0, 300). På figur 4.7 har vi optegnet grafen for τ. En naturlig estimator for τ er gennemsnittet af X i erne. Og dermed er en momentestimator for λ λ = τ 1 1 n X i. (4.12) Det er ikke muligt at finde et eksplicit udtryk for τ 1, men i praksis finder man let λ. Man kan f.eks. aflæse værdien på grafen for τ. Det er heller ikke vanskeligt at udregne λ numerisk. Bortset fra i tilfældet hvor alle observationer censureres - da findes λ ikke. Bemærk at tilfældet hvor ingen observationer censureres ikke volder problemer i forbindelse med denne estimator. Hvis man ser på de konkrete data fra eksempel 2.15 fås at de aktuarstuderendes gennemsnitlige formelle score er sekund, hvilket leder til λ = 208. Tilsvarende er de mat-øk studerendes gennemsnitlige formelle score sekund, hvilket leder til λ = 447. I et simuleringeksperiment har vi for den sande parameter λ = 300 simuleret datasæt med n = 25 - dette svarer nogenlunde til forholdende i eksempel Udregnes både ˆλ og λ på disse datasæt finder vi at begge estimatorer har en klar bias, med middelværdier på hhv. 311 og 316 (disse forhold kommer ikke helt til syne i et boxplot af de to estimatserier som i figur 4.8, for her er der en vandret streg gennem

20 4.3. Momentestimatorer 121 PSfrag replacements τ(λ) λ Figur 4.7: Graf for parameterfunktionen τ(λ) = λ(1 e 300/λ ). medianen, ikke gennem middelværdien). Begge estimatorer overestimerer altså, og overraskende nok har ˆλ den mindste bias. Endnu mere overraskende er det måske at ˆλ har den mindste varians (7803 mod 8788)! Vi kan altså konstatere at vores forsøg på at inddrage så meget information som muligt har slået fejl: den sofistikerede estimator λ fungerer simpelthen dårligere end den primitive estimator ˆλ. På den anden side fungerer ˆλ ikke ligefrem godt. I det aktuelle tilfælde kan gættene falde stort set hvor som helst mellem 200 og 500. Hvis man ser på de konkrete data fra eksempel 2.15, observerede vi nok en vis forskel mellem ˆλ erne for de forskellige grupper. Men når man har set hvor upræcist denne type gæt er, føler man sig næppe sikker på at der vitterligt er forskel på de to grupper. Momentmetoden blev ophøjet til fundamentalt princip af Karl Pearson omkring Dette princip er uhyre anvendeligt i praksis, i den forstand at man ofte relativt let kan konstruere en central estimator - om ikke for den ønskede parameterfunktion, så for en tæt beslægtet parameterfunktion. Men der er ingen garanti for at man på den måde producerer en efficient estimator, dvs. en estimator der så effektivt som muligt udnytter den foreliggende information. Tværtimod så vi i eksempel 4.2 at et mindre heldigt udgangspunkt kan lede til regulært inefficiente estimatorer.

21 122 Kapitel 4. Estimation PSfrag replacements ˆλ λ Figur 4.8: En sammenligning af ˆλ og λ fra eksempel I eksperimentet har vi gange genereret 25 uafhængige observationer fra en eksponentialfordeling med middelværdi λ = 300, skåret af ved 300. På den baggrund har vi regnet såvel ˆλ som λ ud. I flere eksempler har vi uden besvær konstrueret adskillige momentestimatorer, og man kommer ikke uden om at der er et utilfredsstillende ad hoc aspekt ved metoden, fordi den ikke eksplicit fortæller hvordan estimatoren skal vælges. Denne mangel på entydighed gør endvidere at det er umuligt at lave en generel teori for momentestimatorer. Derfor er momentmetoden ikke i høj kurs i vore dage. Den almindeligste brug af momentestimatorer er til at give et overslag over størrelsesordenen af en parameter. Sådanne overslag bruges ofte i eksplorativ analyse, men også i forbindelse med mere raffinerede metoder til estimation: disse metoder baseres i praksis ofte på iterative numeriske teknikker, og der kræves ofte et kvalificeret initialt gæt - og det er momentestimatorer ideelle til at producere. 4.4 Mindste kvadraters metode Et endnu ældre princip, systematisk udnyttet af Gauss i begyndelses af 1800-tallet, er mindste kvadraters metode, ofte refereret til som OLS (for ordinary least squares).

22 4.4. Mindste kvadraters metode 123 Hvis X 1,..., X n er reelle variable med middelværdi E θ X i, opsøges det θ der minimerer kvadratsummen (x i E θ X i ) 2. Man kan også benytte princippet for stokastiske variable med værdier i R k, her minimeres i stedet x i E θ X i 2, hvor er den sædvanlige euklidiske afstand. Eksempel 4.12 Betragt den simple normalfordelingsmodel, hvor X 1,..., X n er uafhængige reelle stokastiske variable, der hver især er N(ξ, σ 2 )-fordelt med ukendt middelværdi og varians. Vi har da den naturlige kvadratsum R(ξ, σ 2 ; X 1,..., X n ) = (X i E θ X i ) 2 = (X i ξ) 2 = X 2 i 2ξ X i + n ξ 2. Dette er et andengradspolynomium i ξ, og det minimeres af n X i ˆξ =, n der således er OLS-estimatet af ξ. Disse regninger tillader os derimod ikke at estimere σ 2. Det er ikke umuligt at fremkomme med et OLS-estimat af variansparameteren også, men det kræver visse krumspring i forbindelse med opstillingen af en relevant kvadratsum. Mindste kvadraters metode får vigtige pluspoint fordi der findes endog meget effektive numeriske metoder til at minimere kvadratsummer. Så udfra et beregningsmæssigt synspunkt er det et godt princip, og OLS-estimation fungerer da også ganske udmærket i mange sammenhænge. Man kan i visse modeller vise at OLS-estimatorerne er de optimale estimatorer indenfor en (ret begrænset) klasse af estimatorer, den såkaldte Gauss-Markov sætning. Så der er også en vis teoretisk muskelkraft bag princippet. Men oftest er OLSestimatorer inefficiente, og man er bedre tjent med en WLS-estimator (for weighted least squares), hvor man minimerer en vægtet kvadratsum a la (3.16). Det er dog sjældent let at finde den rigtige vægtmatrix.

23 124 Kapitel 4. Estimation 4.5 Maksimaliseringsestimation Vi vil primært beskæftige os med et tredie princip, kaldet maksimaliseringsprincippet eller maksimum likelihood princippet. I den form vi bruger det, er det først foreslået af Fisher i 1912, og promoveret kraftigt af ham selv og hans elever i 1920 erne og 1930 erne. Det er i dag det dominerende paradigme blandt professionelle statistikere. Lad (ν θ ) θ Θ være en domineret parametriseret model på (X, E) med likelihoodfunktion L. En maksimaliseringsestimator (ofte benævnt MLE) er da en afbildning t : X Θ så L x (t(x)) = sup L x (θ) for alle x X. θ Θ Bemærk den ubestemte form: en maksimaliseringsestimator. Hvis L x har et entydigt maksimum, så er der ingen tvivl om hvad t(x) skal være. Men hvis L x s størsteværdi antages i flere punkter, så skal t(x) blot være ét af disse punkter, der er frit valg. Så i princippet kan der findes flere maksimaliseringsestimatorer. Denne flertydighed volder dog sjældent problemer. Værre er det hvis L x for visse x X ikke antager noget maksimum. Sådanne x er udgør en undtagelsesmængde, hvor MLE ikke er defineret. Som vi skal se, er det et helt almindeligt fænomen. Et andet ubehageligt problem er, at der ingen generelle argumenter er til rådighed, der kan sikre at MLE er en målelig afbildning X Θ. Det må man selv undersøge i hver model for sig. Der findes faktisk modeller, hvor MLE ikke er målelig! I praksis arbejder man som regel med loglikelihoodfunktionen l i stedet for likelihoodfunktionen selv. Man forsøger så at minimere hvert l x : man søger for hvert x X et t(x) Θ så l x (t(x)) = inf θ Θ l x(θ). Hvis Θ er en åben delmængde af R k og likelihoodfunktionen er C 1, så er et minimumspunkt for l x specielt et lokalt minimumspunkt og dermed et stationært punkt. Det må derfor løse den såkaldte likelihoodligning D(l x (θ)) = 0. (4.13) Læst højt siger likelihoodligningen at scorefunktionen skal være nul. Bemærk, at dette er k ligninger med k ubekendte: l x θ i (θ 1,..., θ k ) = 0 for alle i = 1,..., k.

24 4.5. Maksimaliseringsestimation 125 Et eventuelt minimumspunkt skal således i dette tilfælde søges blandt løsningerne til (4.13). Hvis likelihoodfunktionen er to gange differentiabel, er en løsning θ til (4.13) et lokalt minimumspunkt, hvis k k-matricen D 2 l x ( θ) = ( 2 l x θ i θ j ( θ) ) i, j=1,...,k er positivt definit, dvs. hvis informationsfunktionen er positivt definit i θ. I det omfang man kan finde en maksimaliseringsestimator, så har metodikken nogle klare operative fordele - vi skal i næste kapitel se på at der også er teoretiske fordele. De operative fordele har at gøre med at der ikke er nogen valgfrihed, og at det ikke kræver nogen speciel indsigt at stille likelihoodfunktionen op og maksimere den - det er en relativt mekanisk proces, om end den nogle gange kan være vanskelig at gennemføre. Yderligere viser det sig at princippet er ækvivariant: to statistikere med hver deres parametrisering af en model, vil være enige om hvad maksimaliseringsestimatoren er. Sætning 4.13 (Ækvivarians af MLE) Lad (ν θ ) θ Θ og (ξ λ ) λ Λ være to injektive parametriseringer af en domineret statistisk model P på (X, E), og lad φ : Θ Λ være den eksplicitte reparametrisering. Lad t : X Θ og s : X Λ være maksimaliseringsestimatorer svarende til de to parametriseringer. Hvis en af disse maksimaliseringsestimatorer er entydigt bestemte, så er den anden det også, og s(x) = φ t(x) for alle x X. BEVIS: Vi så i afsnit 3.4, at hvis L x er likelihoodfunktionen i λ-parametriseringen, og L x er likelihoodfunktionen i θ-parametriseringen, så er L x (θ) = L x φ (θ) for alle x X, θ Θ. Lad os antage at t er en maksimaliseringsestimator for θ. Da er Kombineres disse formler, ser vi at L x (t(x)) L x (θ) for alle θ Θ. L x φ t(x) L x φ(θ) for alle θ Θ,

25 126 Kapitel 4. Estimation og da φ er surjektiv, følger det heraf at L x φ t(x) L x (λ) for alle λ Λ, dvs. at φ t(x) er en maksimaliseringsestimator for λ. Hvis s er entydigt bestemt, ser vi derfor at φ t(x) = s(x). Eftersom φ er bijektiv, følger det at t(x) = φ 1 s(x). Så også t er entydigt bestemt i dette tilfælde. Hvis den primære interesse retter sig mod en parameterfunktion τ : Θ Ψ, så fristes man ofte til at opstille den såkaldte profillikelihood for τ ud fra den oprindelige likelihoodfunktion, L τ x(ψ) = sup{l x (θ) θ Θ, τ(θ) = ψ}. Profillikelihoodfunktionen kan i et vist omfang bruges til at drage inferens om τ. I hvert fald er det klart at sup L τ x (ψ) = sup ψ Ψ sup ψ Ψ θ:τ(θ)=ψ L x (θ) = sup L x (θ). θ Θ Hvis ˆψ maksimerer profillikelihoodfunktionen, og ˆθ maksimerer den oprindelige likelihoodfunktion, ser vi heraf at ˆψ = τ(ˆθ). Hvis vi kun er interesseret i τ(θ) for den sande parameter θ, så kan vi altså estimere denne værdi ved at maksimere profillikelihoodfunktionen. Det kan nogle gange være en regnemæssig fordel. Nogle statistikere er tilbøjelige til at tillægge profillikelihoodfunktionen større vægt end som så. De bruger f.eks. den anden afledede af profillikelihoodfunktionen som udtryk for præcisionen af deres estimat af parameterfunktionen τ på samme måde som vi vil bruge den forventede information som et udtryk for præcisionen af MLE af hele parameteren. Den teoretiske begrundelse for at tillægge profillikelihoodfunktionen så stor vægt er omtvistet, men ideen vinder mere og mere indpas. Eksempel 4.14 Lad os betragte den simple eksponentialfordelingsmodel, med uafhængige reelle stokastiske variable X 1,..., X n der hver især er eksponentialfordelt med en ukendt parameter λ > 0. Lad os betegne summen af X i erne med X. Vi fandt

26 4.5. Maksimaliseringsestimation 127 i eksempel 3.17 at loglikelihoodfunktionen, scorefunktionen og informationsfunktionen er l X (λ) = n log λ + X λ l X (λ) = n λ X λ 2 l X (λ) = n λ 2 + 2X λ 3. Hvis X > 0 ser vi at l X er aftagende på (0, X /n) og voksende på (X /n, ). Der er altså globalt minimum i X /n, og maksimaliseringsestimatoren er således givet ved ˆλ = X n. Hvis X = 0 ser vi derimod at l X er strengt voksende på hele parameterintervallet (0, ), så i dette tilfælde findes maksimaliseringsestimatoren ikke. Eksempel 4.15 Lad os betragte møntkastmodellen, hvor vi har uafhængige reelle stokastiske variable X 1,..., X n med P(X i = 1) = p, P(X i = 0) = 1 p for i = 1,..., n, p (0, 1). Likelihoodfunktionen er L X (p) = n p X i (1 p) 1 X i = p X (1 p) n X og dermed er loglikelihoodfunktionen, scorefunktionen og informationsfunktionen l X (p) = X log p (n X ) log(1 p), l X (p) = X p + n X 1 p, l X (p) = X p 2 + n X (1 p) 2. Hvis 0 < X < n ser vi at l X er aftagende på (0, X /n) og voksende på (X /n, 1). Der er altså globalt minimum i X /n, og maksimaliseringsestimatoren er således givet ved ˆp = X n. (4.14)

27 128 Kapitel 4. Estimation Hvis X = 0 eller X = n ser vi derimod at l X er strengt monoton på hele parameterintervallet (0, 1), og dermed findes maksimaliseringsestimatoren ikke. Heldigvis giver formlen (4.14) god mening også i disse tilfælde. Eksempel 4.16 Lad os betragte den afskårne eksponentialfordeling fra eksempel 2.15, hvor en eksponentialfordelt variabel Y med middelværdi λ er uobserveret, mens den observerede variabel X er fremkommet som X = min{y, 300}. I eksempel 3.3 viste vi at loglikelihoodfunktionen på baggrund af n uafhængige observationer fra denne fordeling er l X (λ) = 1 (Xi < 300) log λ + X λ. Analogt med eksempel 4.14 ser vi at maksimaliseringsestimatoren er entydigt bestemt hvis X > 0 (hvilket sker med sandsynlighed 1, uanset værdien af λ), og hvis 1 (Xi < 300) > 0 (4.15) altså hvis ikke alle observationer er censureret. I bekræftende fald er maksimaliseringsestimatoren X ˆλ = n. 1 (Xi < 300) I terminologien fra eksempel 4.11, er maksimaliseringsestimatoren den samlede formelle score for hele populationen, divideret med antallet af ikke-censurerede observationer. Uheldigvis er der positiv sandsynlighed for at betingelse (4.15) ikke er opfyldt - man indser let at P 1 (Xi < 300) > 0 = e n300/λ. I de fleste tilfælde er denne sandsynlighed næsten forsvindende. Men den er der, og det betyder at det ikke giver mening at tale om momenter af ˆλ. Vi har derfor ikke teoretiske værktøjer til at sammenligne denne estimator med de to momentestimatorer fra eksempel Et simulationseksperiment efter retningslinierne i figur 4.8 vil dog afsløre at maksimaliseringsestimatoren er fuldt konkurrencedygtig i forhold til de to momentestimatorer.

28 4.5. Maksimaliseringsestimation 129 Lemma 4.17 Lad a > 0 og b > 0. Funktionen f : (0, ) (0, ) givet ved f (y) = 1 y b e a y har et entydigt globalt maksimum for y = a/b. BEVIS: Sæt g(y) = log f (y) = b log y + a y. Da er g (y) = b y a y 2. Vi ser at g er aftagende for y (0, a/b) og voksende for y (a/b, ), så g har globalt minimum i a/b. Og dermed har f globalt maksimum i det pågældende punkt. Eksempel 4.18 Betragt den simple normalfordelingsmodel, hvor X 1,..., X n er uafhængige reelle stokastiske variable, der hver især er N(ξ, σ 2 )-fordelt med ukendt middelværdi og varians. Idet vi ser bort fra den del af normeringskonstanten for normalfordelingen, der involverer 2π (formelt kunne det ske ved at benytte et dominerende mål af formen cm n for et passende c) er likelihoodfunktionen L X (ξ, σ 2 ) = = n ( 1 σ 2 ) 1/2 e (X i ξ)2 2σ 2 = 1 (σ 2 ) n/2 e 1 2σ 2 (SSD+n(X ξ) 2), 1 (σ 2 ) n/2 e 1 2σ 2 (Xi ξ) 2 hvor X = 1 n n X i og SSD = n (X i X ) 2. For fast σ 2 maksimaliseres likelihoodfunktionen for ξ = X og profillikelihoodfunktionen for σ 2 er L X (σ 2 ) = 1 (σ 2 ) n/2 e 1 2σ 2 SSD. Anvendes lemma 4.17 med y = σ 2, a = SSD 2 og b = n 2, følger det, at L X har entydigt maksimum for σ 2 = SSD n. Dette viser, at σˆ 2 = SSD n er entydig maksimaliseringsestimator for σ 2. For denne variansparameter (som for alle andre) har vi maksimeret likelihoodfunktionen i ξ, og vi slutter derfor at ˆξ = X

29 130 Kapitel 4. Estimation er entydig maksimaliseringsestimator for ξ. Kombineres disse resultater, ser vi at ( (ˆξ, σˆ 2) = X, SSD ) (4.16) n er maksimaliseringsestimator for den samlede parameter. Hvis vi sammenligner med resultaterne i eksempel 4.4, ser vi at momentmetoden gav samme estimator for middelværdien, men en lidt anden estimator for variansen. I dette tilfælde vil man ikke foretrække maksimaliseringsestimatoren, der er konventionel enighed om at den centrale estimator bør benyttes. Man kan eventuelt kalde det en momentmodificeret maksimaliseringsestimator, hvis man ønsker at insistere på at den har forbindelse til MLE. Argumentet for at centralisere er ikke særlig stærkt. Man neutraliserer nok bias på den måde, til gengæld så øger man variansen. Faktisk har maksimaliseringsestimatoren for σ 2 mindre MSE end den centraliserede estimator! Under alle omstændigheder forsvinder forskellen mellem de to estimatorer når antallet af observationer vokser. Den anførte udledelse af maksimaliseringsestimatorerne via en profillikelihoodfunktion virker sikkert unødigt tricket ved en første gennemlæsning. En mere direkte tilgang er at finde loglikelihoodfunktionen, differentiere og opskrive likelihoodligningerne, 2n(X ξ) n 2σ 2 = 0, 2σ 2 SSD + n(x ξ) 2 2σ 4 = 0. Det er en simpel øvelse at konstatere at (4.16) er den eneste løsning til disse ligninger. Problemet kommer, når man skal gøre rede for, at det fundne stationære punkt er det globale minimum for likelihoodfunktionerne - den slags overvejelser er uhyre vanskelige i flere dimensioner. Tilgangen med profillikelihoodfunktioner leder elegant uden om disse problemer, i og med at man nøjes med at maksimalisere etdimensionale funktioner, hvor klassisk funktionsundersøgelse er et fortræffeligt værktøj. 4.6 Ikke-parametrisk estimation Lad os slutte dette kapitel af med nogle bemærkninger om estimation i ikkeparametriske modeller. Vi vil koncentrere os om situationen fra eksempel 2.11, hvor X 1,..., X n er uafhængige, identisk fordelte reelle stokastiske variable med ukendt