Dagens Emner. Likelihood teori. Lineær regression (intro) p. 1/22

Transkript

1 Dagens Emner Likelihood teori Lineær regression (intro) p. 1/22

2 Likelihood-metoden M : X i N(µ,σ 2 ) hvor µ og σ 2 er ukendte Vi har, at L(µ,σ 2 ) = ( 1 2πσ 2)n/2 e 1 2σ 2 P n (x i µ) 2 er tætheden som funktion af de ukendte parametre. Likelihood funktionen rangordner de forskellige mulige værdier af (µ,σ 2 ). En stor værdi af L(µ,σ 2 ) antyder, at (µ,σ 2 ) er gode bud på de sande værdier af parametrene. p. 2/22

3 MLE Vi finder (ved at differentiere l og under forudsætning af at man kan differentiere x 1/x), at µ = x. N(µ,σ 2 /n) σ 2 = 1 n (x i x.) 2 σ 2 χ 2 (n 1)/n n p. 3/22

4 MLE - fortsat Bemærk at E[ σ 2 ] = n 1 n σ2 σ 2. Det middelværdirette variansskøn er s 2 = 1 n 1 n (x i x. ) 2 σ 2 χ 2 (n 1)/(n 1). s 2 benyttes i nævneren af t-teststørrelsen. Konklusion : Vi benytter stadig s 2 som skøn over variansen. p. 4/22

5 Hypotese: H 0 : µ = µ 0 Likelihood ratio teststørrelsen er Q(x) = max under H 0 L(µ,σ 2 ) max under M L(µ,σ 2 ) = L(µ 0, n 1 L( x., n 1 n (x i µ 0 ) 2 ) n (x i x. ) 2 ) ]0, 1] p. 5/22

6 LRT - fortsat Vi finder, at Q(x) =... = ( ) n/2 1 + t2 (x) n 1 hvor t(x) = x µ 0 s 2 /n p. 6/22

7 LRT - fortsat Da afbildningen z (1 + z n 1 ) n/2 er strengt aftagende følger, at p obs (x) = P(Q(X) Q(x)) = P( t(x) t(x) ) = 2(1 F t(n 1) ( t(x) )) Samme test som vi tidligere har benyttet! p. 7/22

8 Opsummering: I en normalfordelt observationsrække er t-testet for µ = µ 0 ækvivalent med likelihood ratio testet. Dvs. om du gør det ene eller andet så fås samme testss. Tilsvarende kan man vise, at i to normalfordelte observationsrækker med samme varians er t-testet for µ 1 = µ 2 ækvivalent med LRT for denne hypotese. (Regne-regne-regne). p. 8/22

9 Opsummering - fortsat: Helt generelt: Alle (eksakte) t-test vi betragter er ækvivalente med LRT (se kapitel 4). Her er t-teststørrelsen for hypotesen H 0 : parameter = µ 0 beregnet som t = estimat µ 0 Std Error t(f) hvor numerisk store værdier er kritiske. f er frihedsgraderne for variansskønnet. p. 9/22

10 Bemærkning til notationen notationen er reserveret til maksimum likelihood estimater. notationen kan benyttes til et vilkårligt estimat. I en normalfordelt observationsrække kan vi derfor skrive µ µ = x. N(µ,σ 2 /n) σ 2 σ 2 = SSD/n σ 2 χ 2 (n 1)/n σ 2 s 2 = SSD/(n 1) σ 2 χ 2 (n 1)/(n 1) p. 10/22

11 Perspektiv: I modeller, hvor det ikke er oplagt hvordan parametre skal estimeres, benyttes ML-estimater (dog stadig det middelværdirette variansskøn). I modeller, hvor det ikke er oplagt hvordan man skal teste, benyttes LRT. (Eksempel: Tre normalfordelte observationsrækker hvor man tester for ens middelværdi). p. 11/22

12 Lineær regression-intro Tager udgangspunkt i Ex. 3.4 hvor vi betragter alder og blodtryk. Betragt alder som ikke-stokastisk. Vi vil opstille en model, hvor blodtrykket stiger lineært med alderen; blodtryk α + β alder (Vi skal modellere variationen omkring linjen). p. 12/22

13 Lineær regression-intro Tager udgangspunkt i Ex. 3.4 hvor vi betragter alder og blodtryk. Betragt alder som ikke-stokastisk. Vi vil opstille en model, hvor blodtrykket stiger lineært med alderen; blodtryk α + β alder (Vi skal modellere variationen omkring linjen). I første omgang vil vi fokusere på journalister. Senere skal vi sammenligne blodtryk for journalister og universitetslærere. p. 12/22

14 Lineær regression-intro Vi har n = 13 observationer for journalister. x i angiver den ite journalists blodtryk, i = 1,...,n. t i angiver den ite journalists alder, i = 1,...,n. Data: Se Table 3.6. p. 13/22

15 Model: M 2 : X i N(α + βt i,σ 2 ) (Modellen M 1 omtales senere). Det vil sige: Det forventede blodtryk for en journalist, der er t år gammel er α + βt; Specielt har vi, at det forventede blodtryk stiger lineært med alderen; Variationen omkring linjen er normalfordelt; Variansen afhænger ikke af alderen. p. 14/22

16 Bemærkninger Vi taler om en lineær regression af x på t; t α + βt kaldes regressionslinjen; α kaldes afskæringen, positionen eller interceptet; β er hældningen på regressionslinjen; x kaldes den afhængige variabel eller responsen; t kaldes den uafhængige variabel eller den forklarende variable; p. 15/22

17 Vi skal nu lave flg.: Modelkontrol: diverse plots, residualer. (Side samt lidt af 3.3.5). Notation. (Side ; opsummering i Table 3.7 side 125). Finder α, β, det middelværdirette variansskøn (frihedsgrader n 2) De tilhørende fordelinger. (Side , Table 3.7 side 125). Test: t-test konstrueret efter de sædvanlige principper; 95%-ki. (Side 130). Andre modeller hvor fx. α = 0 (Side ). p. 16/22

18 Modelkontrol: Plot data (scatterplot). Se efter afvigelser. Fx. ikke-lineær sammenhæng; Lad ikke-konstant varians; r i = x i ( α + βt i ) Kaldes residualer. (måler afvigelsen fra den estimerede regressionslinje). Plot (t i,r i ) og se efter systematik. p. 17/22

19 Modelkontrol - fortsat: Bemærk at x i (α + βt i ) N(0,σ 2 ). Indsættes estimaterne fås r i N(0,σ 2 (1 h i )) (se def. af h i i (3.58)). p. 18/22

20 Standardiserede residualer De standardiserede residualer er r i = r i 1 hi N(0,σ 2 ). De standardiserede residualer er ikke uafhængige. Lav fraktildiagram for de standardiserede residualer Et fraktildiagram for x 1,...,x n siger intet om M 2. p. 19/22

21 Notation: S x = USS x = SSD x = SP xt = n x i S t = n x 2 i USS t = n (x i x. ) 2 SSD t = n x i t i SPD xt = n n t i t 2 i n (t i t. ) 2 n (x i x. )(t i t. ) Vigtige Beregningsformler opsummeres i Table 3.7. p. 20/22

22 Likelihood-funktionen L(α,β,σ 2 ) = n 1 2πσ 2 e 1 2σ 2 (x i (α+βt i )) 2 = (2πσ 2 ) n/2 e 1 2σ 2 P n (x i (α+βt i )) 2 p. 21/22

23 MLE Vi viser, at β = SPD xt SSD t α = x. β t. σ 2 = 1 n n (x i ( α + βt i )) 2 og finder det middelværdirette variansskøn (erstat n med n 2 i nævneren. Frihedsgraderne er n 2). p. 22/22