Uge 7 I Teoretsk Statstk, 9. aprl 2004. Hvor er v? Hvor var v: opstllg af statstske modeller Hvor skal v he: tro om estmato og test 2. Eksempel: FCK Estmato (tutvt) Test Maksmum lkelhood estmato Scorer FCK "for mage" mål det sdste kvarter? Hypotese ord: FCK scorer e sjettedel af se mål det sdste kvarter af kampe (,dvs. de observerede overvægt af mål scoret det sdste kvarter er blot et udslag af tlfældgheder). Statstsk model: Betger med atal scorede mål ( = 542) X = atal mål scoret det sdste kvarter. (Obs: x=7) X ~ b(=542, p=/6); f(x,p) = Nulhypotese, H 0 : p = /6 = 0.667. 542 5 x 6 6 x 542 x
2 Først estmato Itutv estmator for p (sammefaldede med ML-estmatore, som v skal se seere): ˆp= X/ Observeret værd (estmat): 7/542 = 0.22 Husk at ˆp [ ] er e stokastsk varabel med e fordelg! Specelt er E[p] ˆ = E X/ = p/ = p. Estmat :7/542= 0.22 2 3 var[p] ˆ = var[x/ ] = p( p)/ = p( p)/. Estmat :7 425/542 = 0.0003 (2) Scorer FCK "for mage" mål det sdste kvarter? Nulhypotese, H 0 : p = /6 = 0.667. Alteratv hypotese (det v "tester mod"): p > /6. Hvs p = /6, hvad er så sadsylghede for at få oget, der passer lge så dårlgt eller edu dårlgere med H 0 ed det v faktsk har observeret? Dee sadsylghed kaldes sgfkassadsylghede og bereges således ( ) ( ε= P X 7 = 542,p = /6 = P X 6 542,/6 6 + /2 542 (/6) 26.7 = Φ = Φ = Φ 3.02 542 ( /6)( 5 /6) 8.6763 = 0.003 Da ε er meget llle mdre ed 0.05 forkaster v hypotese. ) ( )
(3) Scorer FCK "for mage" mål det sdste kvarter? 3 Me hov, hvad med overtd? Hvs v atager, at der er 3 mutters tllægstd begge halvlege blver de teressate ulhypotese: 5 + 3 8 3 H 0 :p= = = 90 + 6 96 6 og sgfkassadsylghede blver så ε = P 3/6 (X > 7) = P 3/6 (X 6) = 0.05 og u er koklusoe kap så klar Data fra de ekelte år V har også data fra de ekelte år, 92/93-02/03 X ~ b(,p) Derfra ka ma berege ye estmater ˆp = x / og teste hypotese. Store sgfkasssh. (og accept af H 0 ) trods store ˆp 'er Stor varas på ˆp 'er Brede kofdestervaller (herom uge 9) Pote: Sammelæg data fra de ekelte år Y bedre estmator og skrere test.
4 Maxmum lkelhood estmato Sadsylghedsfukto x f (x p) = P p(x = x) = p ( p) p x Fortolkg: ssh. for at observere x, år parametere er p. Løst: ˆp er de værd af p, der "passer bedst med" det observerede x. ML-metode: ˆp er de værd af p, der gør de observerede værd mest sadsylg. (2) Maxmum lkelhood estmato V betragter u P p (X = x) som fukto af p for fastholdt observeret værd x. Dee fukto er lkelhoodfuktoe : x L(p) = L(p x) = f (x p) = P p(x = x) = p ( p) p x E ML-estmator er de værd af p, der maksmalserer L(p).
5 (3) Maxmum lkelhood estmato Som regel emmere at maksmalsere logl(p) : l p =logl p =log +xlogp+ -x log -p x ( ) ( ) ( ) ( ) Maksmalser ved at løse lkelhoodlgge: l(p) = 0 p x -x p -p Dette gver (som forvetet) ˆp= x/. = x( -p ) = p( -x) x Bemærk at v kue have droppet leddet fra start, da det kke afhæger af p. Poter V skal tl at sakke om estmato og test (kaptel 8 og 9). Vgtge poter desagåede (som ok skal blve getaget de æste gage : ) E estmator er et "skø" over de ukedte parameter; løst sagt de værd der passer bedst med data. E estmator er e stokastsk varabel, der har e fordelg! Maksmum lkelhood estmato er de mest udbredte metode: puktsadsylghede/tæthede maksmalseres med hesy tl parametere for fastholdt x.
6 Teoretsk Statstk, 9. aprl 2004. Statstsk model og estmato 2. Maksmum lkelhood estmato 3. Adre estmatosmetoder 4. Fordelg af estmatorer Statstsk model Stokastske varable X,,X. Smulta puktsadsylghed/tæthed for (X,,X ): f(x,,x θ) hvor θ er e ukedt parameter med varatosområde Θ. Atag at der fdes e sad parameterværd θ, som v vl estmere udfra observatoer x,,x af X,,X.
7 Eksempler på statstske modeller Eksempler: X ~ b(,p): x x f(x p) = p ( p) ; p (0,) x X,,X uafhægge; X ~N(µ,σ 2 ): 2 2 µσ = 2 µ = 2 2σ f (x,...,x, ) exp (x ) 2πσ 2 (( ) ( )) ( µσ, ),, 0, (2) Eksempler på statstske modeller Stkprøve: N kuder; hvoraf M = Nθ er tlfredse; udspørger kuder; x af dem er tlfredse. X ~ hypgeo(n,nθ,): P(X = x θ ) = Nθ N( θ) x x N θ (0,) X,,X uafhægge; X ~Ps( λ): = x λ λ f (x,...,x λ ) = e λ 0,,2... x! [ )
8 Puktestmato De sade værd af parametere er ukedt; v vl skøe over de på bass af observatoere x,,x. Skøet beteges ˆθ. I læreboge skeles mellem estmat og estmator: Estmator: θ=θ ˆ ˆ(X,...,X ) altså e fukto af de stokastske varable og dermed selv e stokastsk varabel. De har e fordelg og e mddelværd og e varas. Estmat: θ ˆ =θ(x ˆ,...,x ) altså de observerede værd af estmatore. E talværd (eller e vektor af talværder). Adre observatoer adet estmat. Teoretsk Statstk, 9. aprl 2004. Statstsk model og estmato 2. Maksmum lkelhood estmato 3. Adre estmatosmetoder 4. Fordelg af estmatorer
9 Maksmum lkelhood estmato Puktsadsylghed/tæthed for gvet θ: f(x,,x θ) (x,,x ) varerer udfaldsrummet for (X,,X ), θ er fast. Vl u betragte f som fukto af θ, hvorved de beteges lkelhoodfuktoe L(θ) = L(θ x,,x ) = f(x,..,x θ) θ varerer Θ, x= ( x,x 2,...,x ) er fast! Maksmum lkelhood estmatore er de værd af θ, der maksmalserer L(θ). (2) Maksmum lkelhood estmato Fortolkg det dskrete tlfælde: L( θ ) = f (x,...,x θ ) = P (X = x,...,x = x ) θ Dvs. L(θ) er sadsylghede for at observere etop det, v har observeret, år parametere er θ. Estmatet ˆθ sadsylg! er altså de værd af θ, der gør vores observato mest (I det kotuerte tlfælde kke helt samme fortolkg, me æste )
0 (3) Maksmum lkelhood estmato V skal altså fde de værd af θ 0 Θ der maksmalserer L(θ): L( θ ˆ x) = max L( θ x) I prakss er det æste altd emmere at maksmalsere l(θ) = logl(θ) OK, da log er e voksede fukto. Ma løser lkelhoodlgge (mht. θ): l( θ x) θ θ Θ = 0 Eksempler X ~ b (,p) x x L(p) = L(p x) = p ( p) ; pˆ = x / x (se ovefor).
X,,X uafhægge Ps(λ)-fordelte: x x λ λ λ L( λ ) = e = e x! Π x! dvs. = ( λ ) = λ+ ( ) λ ( ) ( λ ) λ l x,...,x x log log x! så lkelhoodlgge blver l x,...,x = + x = 0 λ λ Løses dee lgg mht λ fås ˆ λ= x = x = (4) Maksmum lkelhood estmato Hvs θ = (θ,,θ k ) er flerdmesoal skal v have fat de partelle afledede, og ma får k lgger: l( θ) log L( θ) = = 0; =,...,k θ θ Uaset atallet af parametre skal ma aturlgvs skre sg at lkelhoodlggere gver et maksmum (sarere ed et mmum) og at det er et globalt (og kke blot et lokalt) maksmum.
2 Eksempel: Normalfordelge X,,X uafhægge, X ~ N(µ,σ 2 ): 2 2 2 = 2 2σ L( µσ, ) = exp (x µ ) ( 2πσ (Se eksempel 8.7 AJKM ) Opsummerg om ML-estmato ˆθ maksmalserer L(θ )= f (x,,x θ). ˆθ er de værd af θ der gør observatoe mest sadsylg (det dskrete tlfælde). Ofte er ML-estmatet det ma tutvt vlle gætte på Geerel metode der ka beyttes så sart modelle er fuldt specfceret, dvs. år puktssh/tæthed er gvet. ML-estmatore opfører sg pæt for voksede.
3 Teoretsk Statstk, 9. aprl 2004. Statstsk model og estmato 2. Maksmum lkelhood estmato 3. Adre estmatosmetoder 4. Fordelg af estmatorer Adre estmatosmetoder Adre metoder ka være påkrævede, fx. tlfælde hvor ma kke ka eller kke øsker at specfcere modelle fuldt ud ML-estmato er for bereggskrævede Adre metoder (ofte sammefaldede med ML): Mdste kvadraters metode: mmer θ Mometmetode Metoder baseret på fraktler mm, fx. ˆµ 2 = (x E θ[x ]) = meda N(µ, σ 2 ) mht.
4 Mometmetode Mddelværde E[X] = m (θ) afhæger af parametere. Løs m( θ ) = x= x = Eksempel (stkprøve): X~hypgeo (N,Nθ,), så θ =x θ ˆ =x/ Nθ E[X] = = θ. N Hvs θ= ( θ, θ2) bruges også varase, dvs. løs også 2 2 = var[x] = m ( θ ) = s = (x x) Teoretsk Statstk, 9. aprl 2004. Statstsk model og estmato 2. Maksmum lkelhood estmato 3. Adre estmatosmetoder 4. Fordelg af estmatorer
5 Fordelg af estmatorer E estmator ˆθ = ˆθ (X,,X ) er e stokastsk varabel! ˆθ = ˆθ (X,,X ) har e fordelg og specelt e mddelværd og e varas. Fordelge, og dermed også mddelværd og varas, afhæger af θ som er ukedt Det er vgtgt at kede fordelge (på ær de ukedte parameter) eller e god approksmato for at kue udtale sg om præcsoe af estmatore. Eksempler Normalfordelge: 2 µ= ˆ Xogσ ˆ = S 2 er uafhægge og ( 2 ) µ= ˆ X N µ, σ / 2 2 2 = χ 2 2 = σ (X X) S ( ) σ
6 (2) Eksempler Possofordelge, : = λ= ˆ X = X λ= ˆ X ~Ps( λ); E[ λ ˆ] =λ; var[ λ ˆ] =λ/ = Ofte bruges sætg 7.6: ˆλ approks. N(λ, λ /)-fordelt Bomalfordelge, ˆp= X/: pˆ = X~b(,p); E[p] ˆ = p; var[p] ˆ = p( p)/ Ofte bruges sætg 7.4: ˆp approks. N(p,p(-p)/)-fordelt. Opsummerg De statstske takegag: modelopstllg og estmato! Modelle beskrver for gvet værd af parametere hvorda data varerer (tlfældgt) Data bruges tl at estmere skøe over værde af de ukedte parameter E estmator er e stokastsk varabel, der har e fordelg! Maksmum lkelhood estmato: puktsadsylghede/tæthede maksmalseres mht. parametere for fastholdt x. ML prakss: tag logartme og sæt de (eller de) afledede lg 0.