Dagens Emner. Likelihood-metoden. MLE - fortsat MLE. Likelihood teori. Lineær regression (intro) Vi har, at

Transkript

1 Likelihood teori Lineær regression (intro) Dagens Emner Likelihood-metoden M : X i N(µ,σ 2 ) hvor µ og σ 2 er ukendte Vi har, at L(µ,σ 2 1 ) = ( 2πσ 2)n/2 e 1 2 P n (xi µ)2 er tætheden som funktion af de ukendte parametre. Likelihood funktionen rangordner de forskellige mulige værdier af (µ,σ 2 ). En stor værdi af L(µ,σ 2 ) antyder, at (µ,σ 2 ) er gode bud på de sande værdier af parametrene. MLE p. 1/22 MLE - fortsat p. 2/22 Vi finder (ved at differentiere l og under forudsætning af at man kan differentiere x 1/x), at µ = x. N(µ,σ 2 /n) σ 2 = 1 (x i x.) 2 σ 2 χ 2 (n 1)/n n Bemærk at E[ σ 2 ] = n 1 n σ2 σ 2. Det middelværdirette variansskøn er s 2 = 1 n 1 (x i x. ) 2 σ 2 χ 2 (n 1)/(n 1). s 2 benyttes i nævneren af t-teststørrelsen. Konklusion : Vi benytter stadig s 2 som skøn over variansen. p. 3/22 p. 4/22

2 Hypotese: H 0 : µ = µ 0 LRT - fortsat Likelihood ratio teststørrelsen er Vi finder, at Q(x) = max under H 0 L(µ,σ 2 ) max under M L(µ,σ 2 ) = L(µ 0, n 1 n (x i µ 0 ) 2 ) 1 L( x n, n (x i x. ) 2 ) ]0, 1[ hvor Q(x) =... = ( ) n/2 1 + t2 (x) n 1 t(x) = x µ 0 s 2 /n p. 5/22 p. 6/22 LRT - fortsat Opsummering: Da afbildningen z (1 + z n 1 ) n/2 er strengt aftagende følger, at p obs (x) = P(Q(X) Q(x)) = P( t(x) t(x) ) = 2(1 F t(n 1) ( t(x) )) I en normalfordelt observationsrække er t-testet for µ = µ 0 ækvivalent med likelihood ratio testet. Dvs. om du gør det ene eller andet så fås samme testss. Tilsvarende kan man vise, at i to normalfordelte observationsrækker med samme varians er t-testet for µ 1 = µ 2 ækvivalent med LRT for denne hypotese. (Regne-regne-regne). Samme test som vi tidligere har benyttet! p. 7/22 p. 8/22

3 Opsummering - fortsat: Bemærkning til notationen Helt generelt: Alle (eksakte) t-test vi betragter er ækvivalente med LRT (se kapitel 4). Her er t-teststørrelsen for hypotesen H 0 : parameter = µ 0 beregnet som t = estimat µ 0 Std Error t(f) hvor numerisk store værdier er kritiske. f er frihedsgraderne for variansskønnet. notationen er reserveret til maksimum likelihood estimater. notationen kan benyttes til et vilkårligt estimat. I en normalfordelt observationsrække kan vi derfor skrive µ µ = x. N(µ,σ 2 /n) σ 2 σ 2 = SSD/n σ 2 χ 2 (n 1)/n σ 2 s 2 = SSD/(n 1) σ 2 χ 2 (n 1)/(n 1) Perspektiv: p. 9/22 Lineær regression-intro p. 10/22 I modeller, hvor det ikke er oplagt hvordan parametre skal estimeres, benyttes ML-estimater (dog stadig det middelværdirette variansskøn). I modeller, hvor det ikke er oplagt hvordan man skal teste, benyttes LRT. (Eksempel: Tre normalfordelte observationsrækker hvor man tester for ens middelværdi). Tager udgangspunkt i Ex. 3.4 hvor vi betragter alder og blodtryk. Betragt alder som ikke-stokastisk. Vi vil opstille en model, hvor blodtrykket stiger lineært med alderen; blodtryk α + β alder (Vi skal modellere variationen omkring linjen). I første omgang vil vi fokusere på journalister. Senere skal vi sammenligne blodtryk for journalister og universitetslærere. p. 11/22 p. 12/22

4 Lineær regression-intro Model: Vi har n = 13 observationer for journalister. x i angiver den ite journalists blodtryk, i = 1,...,n. t i angiver den ite journalists alder, i = 1,...,n. Data: Se Table 3.6. M 2 : X i N(α + βt i,σ 2 ) (Modellen M 1 omtales senere). Det vil sige: Det forventede blodtryk for en journalist, der er t år gammel er α + βt; Specielt har vi, at det forventede blodtryk stiger lineært med alderen; Variationen omkring linjen er normalfordelt; Variansen afhænger ikke af alderen. Bemærkninger p. 13/22 Vi skal nu lave flg.: p. 14/22 Vi taler om en lineær regression af x på t; t α + βt kaldes regressionslinjen; α kaldes afskæringen, positionen eller interceptet; β er hældningen på regressionslinjen; x kaldes den afhængige variabel eller responsen; t kaldes den uafhængige variabel eller den forklarende variable; Modelkontrol: diverse plots, residualer. (Side samt lidt af 3.3.5). Notation. (Side ; opsummering i Table 3.7 side 125). Finder α, β, det middelværdirette variansskøn (frihedsgrader n 2) De tilhørende fordelinger. (Side , Table 3.7 side 125). Test: t-test konstrueret efter de sædvanlige principper; 95%-ki. (Side 130). p. 15/22 Andre modeller hvor fx. α = 0 (Side ). p. 16/22

5 Plot data (scatterplot). Modelkontrol: Se efter afvigelser. Fx. ikke-lineær sammenhæng; Lad ikke-konstant varians; r i = x i ( α + βt i ) Kaldes residualer. (måler afvigelsen fra den estimerede regressionslinje). Modelkontrol - fortsat: Bemærk at x i (α + βt i ) N(0,σ 2 ). Indsættes estimaterne fås r i N(0,σ 2 (1 h i )) (se def. af h i i (3.58)). Plot (t i,r i ) og se efter systematik. p. 17/22 p. 18/22 Standardiserede residualer Notation: De standardiserede residualer er r i = r i 1 hi N(0,σ 2 ). De standardiserede residualer er ikke uafhængige. Lav fraktildiagram for de standardiserede residualer Et fraktildiagram for x 1,...,x n siger intet om M 2. S x = USS t = SSD x = SP xt = x i S t = t 2 i USS x = (x i x. ) 2 SSD t = x i t i SPD xt = t i x 2 i (t i t. ) 2 (x i x. )(t i t. ) Vigtige Beregningsformler opsummeres i Table 3.7. p. 19/22 p. 20/22

6 Likelihood-funktionen MLE = L(α,β,σ 2 ) n 1 2πσ 2 e 1 2σ 2 (x i (α+βt i)) 2 Vi viser, at β = SPD xt SSD t α = x. β t. = ( 2πσ 2 ) n/2 e 1 2σ 2 P n (xi (α+βti))2 σ 2 = 1 n (x i ( α + βt i )) 2 og finder det middelværdirette variansskøn (erstat n med n 2 i nævneren. Frihedsgraderne er n 2). p. 21/22 p. 22/22