Kombinant Lad (ν θ ) θ Θ være en statistisk model på (X, E). En kombinant er en afbildning hvor (Y, K) er endnu et målbart rum. R : X Θ Y Typisk taler vi om reelle kombinanter, hvor Y = R. Som regel forsøger kombinanter at sige noget om konkordans.. p.1/24
Eksempel: Likelihood Lad ν θ = f θ µ, θ Θ, være en domineret, parametriseret model på (X, E). Likelihoodfunktionen udfra observationen x, L x (θ) = f θ (x) for θ Θ. Loglikelighoodfunktionen udfra x, l x (θ) = log L x (θ). p.2/24
Eksempel: scorefunktionen Antag at Θ er en åben mængde i R k. Antag at l x eksisterer og er differentiabel overalt. Scorefunktionen: Dl x (θ) = ( l x (θ) θ 1 l x (θ) θ 2... ) l x (θ). θ k Kombinant med værdier i mængden af k-rækkevektorer.. p.3/24
Eksempel: observeret information Antag at Θ er en åben mængde i R k. Antag at l x eksisterer og er to gange differentiabel. Observeret information: D 2 l x (θ) = 2 l x (θ) θ 1 2 2 l x (θ) θ 2 θ 1. 2 l x (θ) θ k θ 1 2 l x (θ) θ 1 θ 2... 2 l x (θ) 2 l x (θ) θ 1 θ k 2 l x (θ) θ 2 θ k θ 2 2.......... 2 l x (θ) θ k θ 2... 2 l x (θ) θ k 2. Kombinant med værdier i mængden af k k-matricer.. p.4/24
Forventet værdi i den sande parameter Kombinant θ E θ R(X, θ) : punktskyens centrum som funktion af θ. θ. p.5/24
Fisher information Momentkonstruktionen kan bruges på den observerede information (koordinat for koordinat). Resultatet kaldes Fisher informationen, i(θ) = E θ D 2 l X (θ) Fisher informationen fanger en meget vigtig modelegenskab!. p.6/24
Hovedsætning Lad Θ R k være åben. Hvis l X (θ) opfylder visse regularitetsbetingelser så er E θ (Dl X (θ)) = 0 for alle θ Θ, Den forventede værdi af scorefunktionen, udregnet i den sande parameter, er nul-rækken.. p.7/24
Hovedsætning Lad Θ R k være åben. Hvis l X (θ) opfylder visse regularitetsbetingelser så er V θ (Dl X (θ)) = i(θ) for alle θ Θ, Variansen af scorefunktionen, udregnet i den sande parameter, er Fisher informationen.. p.8/24
Hovedsætnings indhold Lad Θ R være et åbent interval. Hvis l X (θ) opfylder visse regularitetsbetingelser, vil scorefunktionen l X (θ), regnet ud i den sande parameter, have middelværdi 0 og varians i(θ). Kombinant θ. p.9/24
Hovedsætning, direkte eftervisning Lad X 1,..., X n være uafhængige Exp(λ)-fordelte variable. l X (λ) = n log λ + n i=1 X i λ. l X(λ) = n λ n i=1 X i λ 2, l X(λ) = n λ 2 + 2 n i=1 X i λ 3, i(λ) = n λ 2 E λ l X(λ) = n λ n λ λ 2 = 0 V λ l X(λ) = V λ n i=1 X i λ 4 = n λ2 λ 4 = n λ 2 = i(λ). p.10/24
Momentresultat for eksponentiel familie Lad X være fra en étdimensional eksponentiel familie på X, P θ (X A) = A 1 c(θ) eθ t(x) dµ(x) Definer τ(θ) = E θ t(x), κ(θ) = V θ t(x) Sætning τ(θ) = d dθ log c(θ), d2 κ(θ) = log c(θ) dθ2. p.11/24
Hovedsætning, 1-dim eksponentiel familie Lad X være fra en étdimensional eksponentiel familie på X, l X (θ) = log c(θ) θ t(x). l X(θ) = d dθ log c(θ) t(x), l X(θ) = d2 log c(θ), dθ2 i(θ) = κ(θ) E θ l X(θ) = d dθ log c(θ) τ(θ) = 0 V θ l X(θ) = V θ t(x) = κ(θ) = i(θ).. p.12/24
Forskellige parametriseringer Lad en statistisk model P have to étdimensionale parametriseringer, og lad φ være reparametriseringsafbildningen. Antag at φ er C 2. PSfrag replacements P Θ φ Λ l X (θ) - θ-loglikelihood l X (λ) - λ-loglikelihood Fundamental relation: l X (θ) = l X φ(θ).. p.13/24
Forskellige parametriseringer Sætning Hvis λ-parametriseringen opfylder at så er E λ l X(λ) = 0, E θ l X (θ) = 0, V λ l X(λ) = i(λ) V θ l X (θ) = ĩ(θ) Korollar Alle fejlparametriserede eksponentielle familier opfylder at E θ Dl X (θ) = 0, V θ Dl X (θ) = i(θ). p.14/24
Cramér-Raos sætning Lad Θ R være et åbent interval. Antag passende regularitetsbetingelser. Sætning For enhver målelig afbildning t : X R gælder at V θ (t X) (E θ (t X)) 2 i(θ) for alle θ Θ.. p.15/24
Fortolkning af Cramér-Raos sætning Gentagne observationer af t(x) under P θ vil danne en punktsky. V θ (t X): punktskyens bredde. Ønskes lille E θ (t X): hvor hurtigt flytter skyen sig med θ. Ønskes stor Hurtigtflyttende punktsky kun mulig hvis skyen er bred, eller hvis i(θ) er stor. Velseparerede punktskyer kun mulig hvis i(θ) er stor.. p.16/24
Estimation Lad (ν θ ) θ Θ være en statistisk model på (X, E). En estimator af θ er en afbildning t : X Θ. En konkret værdi t(x) kaldes et estimat. En estimator er en gætteregel.. p.17/24
Estimation X ag replacements (Ω, F) (X, E) P θ ˆθ ν θ θ t ˆθ = t X Θ. p.18/24
Undtagelsesmængde Formelt er en estimator t defineret på hele X. I praksis er der ofte visse mulige x er, der ikke fører til et kvalificeret gæt på θ. De kaldes panikobservationer. Tre løsninger: 1. Undlad global definition af t. 2. Tillad t-værdier uden for Θ. 3. Gør et eller andet arbitrært for panikobservationerne.. p.19/24
Eksempel: møntkast Lad X 1,..., X n være uafhængige reelle variable med Parameter: p (0, 1). P (X i = 1) = p, P (X i = 0) = 1 p for alle i. Vi gætter på: den observerede succesfrekvens. n ˆp = 1 n i=1 X i Undtagelsesobservationer: (x 1,..., x n ) = (0,..., 0) (x 1,..., x n ) = (1,..., 1) fører til estimat 0 hhv. 1.. p.20/24
Eksponentialeksempel: moment idé Lad X 1,..., X n være uafhængige Exp(λ)-fordelte. Idé: Da ( n ) E λ X i = nλ er en fornuftig estimator sikkert i=1 n ˆλ = 1 n i=1 X i I hvert fald er E λˆλ = λ, Vλˆλ = λ 2 n. p.21/24
Eksponentialeksempel: median idé Lad X 1,..., X n være uafhængige Exp(λ)-fordelte. Idé: Da median λ X i = λ log 2 er en fornuftig estimator sikkert λ = Empirisk Median(X 1,..., X n ) log 2. p.22/24
Eksponentialeksempel: ekstremværdi idé Lad X 1,..., X n være uafhængige Exp(λ)-fordelte. Idé: Da min(x 1,... X n ) Exp(λ/n) er en fornuftig estimator måske ˇλ = n min(x 1,..., X n ) I hvert fald er E λˇλ = λ, Vλˇλ = λ 2. p.23/24
Eksponentialeksempel: Sammenligning De tre estimatorer i et antal simulationer med n = 100, hvor den sande parameter er λ = 10. Extrem Median Mean 0 5 10 15 20. p.24/24