Estimation. Lad (ν θ ) θ Θ være en statistisk model på (X, E). En estimator af θ er en afbildning t : X Θ. En konkret værdi t(x) kaldes et estimat.

Transkript

1 Estimation Lad (ν θ ) θ Θ være en statistisk model på (X, E). En estimator af θ er en afbildning t : X Θ. En konkret værdi t(x) kaldes et estimat. En estimator er en gætteregel.. p.1/22

2 Estimation X acements (Ω, F) (X, E) P θ ˆθ ν θ Θ θ t ˆθ = t X. p.2/22

3 Parameterfunktion Lad (ν θ ) θ Θ være en statistisk model på (X, E). Lad τ : Ω Ψ være en parameterfunktion. En estimator af τ er en afbildning s : X Ψ.. p.3/22

4 Parameterfunktion acements (Ω, F) (X, E) X P θ ˆτ = s(x) ν θ s θ Θ τ Ψ. p.4/22

5 Eksponentialeksempel Lad X 1,..., X n være uafhængige Exp(λ)-fordelte. Tre estimatorer: ˆλ = 1 n n X i i=1 λ = Empirisk Median(X 1,..., X n ) log 2 ˇλ = n min(x 1,..., X n ). p.5/22

6 Eksponentialeksempel: Sammenligning De tre estimatorer i et antal simulationer med n = 100, hvor den sande parameter er λ = 10. Extrem Median Mean p.6/22

7 Hvordan vurderes en estimator? Lad ˆθ = t(x) være en estimator af den fulde parameter θ Θ. Kvaliteten af ˆθ vurderes ved at finde dens fordeling under hvert P θ. Vi ønsker: at fordelingen af ˆθ skal koncentrere sig rundt om θ under hvert P θ. p.7/22

8 vordan vurderes en estimator? Eksempel Lad X 1,..., X n være uafhængige Exp(λ)-fordelte. ˆλ = 1 n n i=1 X i Under P λ er ˆλ Γ-fordelt med form n og skala λ/n. Det vil blandt andet sige: E λˆλ = λ, Vλ = λ2 n (men fordelingsudsagnet er meget præcisere end som så). p.8/22

9 En estimator af en parameterfunktion? Lad τ : Θ Ψ være en parameterfunktion. Lad ˆτ = s(x) være en estimator af τ. Kvaliteten af ˆτ vurderes ved at finde dens fordeling under hvert P θ. Vi ønsker: at fordelingen af ˆτ skal koncentrere sig rundt om τ(θ) under hvert P θ. p.9/22

10 vordan vurderes en estimator? Eksempel Lad X 1,..., X n være uafhængige N ( ξ, σ 2) -fordelte. ˆξ = 1 n n i=1 X i Under P ξ,σ 2 er ˆξ N (ξ, σ2 n ). Det vil blandt andet sige: σ E ξ,σ 2 ˆξ = ξ, Vξ,σ 2 ˆξ 2 = n Variansen er ubehageligt ukendt.... p.10/22

11 Central estimator Lad τ : Θ R være en reel parameterfunktion. Lad ˆτ = s(x) være en estimator for τ. ˆτ er central hvis E θˆτ = τ(θ) for alle θ Mangel på centralitet kaldes bias, og opfattes som en systematisk fejlvisning.. p.11/22

12 Centralitet og panikobservationer Lad X 1,..., X n være uafhængige reelle variable med P (X i = 1) = p, P (X i = 0) = 1 p for alle i. Estimator: ˆp = a X 1 =... = X N = 0 1 n n i=1 X i ellers b X 1 =... = X N = 1 E pˆp = p + a (1 p) n + (b 1) p n Konklusion: ˆp er ikke central medmindre vi vælger a og b meget omhyggeligt.... p.12/22

13 Centralitet og skæve fordelinger Hvis fordelingen af ˆτ er ikke-symmetrisk, er middelværdien ikke nødvendigvis det bedste udtryk for midtpunktet Mean Median Mode p.13/22

14 Centralitet og ækvivarians Hvis (ν θ ) θ Θ og (ξ λ ) λ Λ være to injektive parametriseringer af samme statistiske model på (X, E). Lad φ : Λ Θ være den eksplicitte reparametrisering, dvs. ν φ(λ) = ξ λ for alle λ Λ Hvis s : X Λ er en estimator af λ, så er t = φ s den ved ækvivarians dannede estimator af θ. Hvis s er en central estimator af λ, er t næppe en central estimator af θ.. p.14/22

15 Sammenligning af centrale estimatorer Lad ˆτ og τ være to centrale estimatorer for en reel parameterfunktion τ : Θ R. De rammer begge rigtigt i middel. Hvis vil vi foretrække ˆτ. V θ ˆτ V θ τ for alle θ Θ. p.15/22

16 Cramér-Raos sætning Lad Θ R være et åbent interval. Antag passende regularitetsbetingelser. Sætning For enhver målelig afbildning t : X R gælder at V θ (t X) (E θ (t X)) 2 i(θ) for alle θ Θ. Hvis t er en central estimator af θ, er E θ (t X) = 1. Så uligheden siger at V θ (t X) 1 i(θ) for alle θ Θ.. p.16/22

17 Optimal central estimator Lad Θ R være et åbent interval. Antag passende regularitetsbetingelser. Hvis man kan finde en central estimator ˆθ så V θ ˆθ = 1 i(θ) for alle θ Θ. så har den mindre varians end alle andre centrale estimatorer. Den er derfor optimal.. p.17/22

18 Mean squarred error Lad τ : Θ R være en reel parameterfunktion, og lad ˆτ være en estimator. ˆτ s mean squarred error er MSE(θ) = E θ (ˆτ τ(θ) ) 2 Lille MSE er bedre end stor MSE. Den generelle formel for 2.momentet om et punkt giver at MSE(θ) = V θ ˆτ + ( E θ ˆτ τ(θ) ) 2. p.18/22

19 Momentestimator Lad τ : Θ R være en reel parameterfunktion, og lad η : R R være en reel funktion. Hvis t : X R er en central estimator af τ, så er η t en momentestimator for parameterfunktionen η τ.. p.19/22

20 acements Momentestimator X (Ω, F) (X, E) Θ P θ θ τ t ν θ R η R Morale: søg efter et eller andet centralt.. p.20/22

21 Standard eksempel Lad X 1,..., X n være iid, med en fordeling der afhænger af θ R. Antag at Y i = f(x i ) har middelværdi E θ Y i = ψ(θ) Da er 1 n n i=1 Y i en central estimator af ψ(θ). Hvis ψ er bijektiv, er ( ˆθ = ψ 1 1 n n i=1 Y i ) en momentestimator for θ.. p.21/22

22 Mindste kvadraters metode Lad X 1,..., X n være reelle variable, med en fordeling der afhænger af θ Θ. Opstil kombinanten R(x 1,..., x n, θ) = n ( ) 2 xi E θ X i i=1 Find for observerede værdier af X 1,..., X n den θ-værdi, der minimerer θ R(X 1,..., X n, θ) Denne θ-værdi er OLS-estimatoren af θ. (Ordinary Least Squares). p.22/22