Den lineære normale model

Transkript

1 Den lineære normale model Ingredienser: V : N-dimensionalt vektorrum. X : Ω V : stokastisk variabel. L : ægte underrum af V, dimension k., : fundamentalt indre produkt på V. Vi laver en hel familie af indre produkter på V : x, y σ 2 = x, y σ 2. p.1/21

2 Den lineære normale model Antagelse X er regulært normalfordelt på V med - centrum ξ L - præcision, σ 2 Parametrisering (ξ, σ 2 ) L (0, ). p.2/21

3 Maksimaliseringsestimation Maksimaliseringsestimator: ˆξ = p(x) ˆσ2 = hvor p er ortogonalprojektionen ned i L. X p(x) 2 N x PSfrag replacements L p(x) 0. p.3/21

4 Estimation i praksis Sædvanlig estimator ˆξ = p(x) σ2 = X p(x) 2 N k hvor p er ortogonalprojektionen ned i L. x PSfrag replacements L p(x) 0. p.4/21

5 Fordelingsresultat ˆξ og ˆσ 2 er uafhængige. ˆξ er regulært normalfordelt på L med - centrum ξ L - præcision: restriktionen af, σ 2 til L. ˆσ 2 er χ 2 -fordelt med formparameter N k skalaparameter σ 2 /N. p.5/21

6 Matrixformulering V = R N. Sædvanligt indre produkt: x, y = x T y. Underrum givet ved designmatrix L = {Aβ β R k } hvor de k søjler i A er lineært uafhængige N-vektorer. ˆξ = A(A T A) 1 A T X eller ˆβ = (A T A) 1 A T X ˆβ N ( β, σ 2 (A T A) 1). p.6/21

7 Lineær hypotese En lineær hypotese er af formen H : ξ L hvor L er et lineært underrum af L af dimension m. PSfrag replacements L x p(x) L 0 p (x). p.7/21

8 Intuitivt test-ide Intuitivt: vi tror på den lineære hypotese hvis X p (X) 2 X p(x) 2 Udmøntning: Udregn F = p(x) p (X) 2 /(k m) X p(x) 2 /(N k) Fortolkning: Små F -værdier får os til at tro på hypotesen Store F -værdier får os til at forkaste hypotesen. p.8/21

9 Uafhængighed Lemma De tre variable X p(x) p(x) p (X) p (X) er uafhængige, uanset om hypotesen er sand eller ej X p(x) har centrum 0 hvis modellen er sand p(x) p (X) har centrum 0 hvis hypotesen er sand Bevis: Trivielt ud fra spaltningssætningen.. p.9/21

10 F testet Hvis hypotesen er sand er F -fordelt med df = (k m, N k) F = p(x) p (X) 2 /(k m) X p(x) 2 /(N k) Vi kan bruge 95% fraktilen som grænse mellem stort og småt. F -størrelsen udregnes ofte som ( p(x) 2 p (X) 2) /(k m) F = ( X 2 p(x) 2 ) /(N k). p.10/21

11 B testet Udregn Fortolkning: B = X p(x) 2 X p (X) 2 Små B-værdier får os til at forkaste hypotesen Store B-værdier får os til at tro på hypotesen Hvis hypotesen er sand er B B-fordelt, df = (N k, k m) Vi kan bruge 5% fraktilen i denne fordeling som grænse mellem stort og småt.. p.11/21

12 Ækvivalente test Bemærk: B = N k N K + (k m)f så F -test og B-test er ækvivalente.. p.12/21

13 Kvotienttest L X (ξ, σ 2 ) = ( ) N/2 1 σ 2 e X ξ 2 /2σ 2 Maksimering under modellen: L X (ˆξ, ˆσ 2 ) = ( N X p(x) 2 ) N/2 e N/2 Maksimering under hypotesen: L X (ˆξ, ˆσ2 ) = ( N X p (X) 2 ) N/2 e N/2. p.13/21

14 Kvotienttest Kvotientteststørrelse: Q = L X(ˆξ, ˆσ2 ) L X (ˆξ, ˆσ 2 ) = ( X p(x) 2 X p (X) 2 ) N/2 = B N/2 Konklusion: Kvotienttest er ækvivalent med B-test.. p.14/21

15 Konfidensområde Problem: Find konfidensområdet for parameterfunktionen (ξ, σ 2 ) ξ (Variansparameteren σ 2 er en støjparameter) Strategi: Find profillikelihoodfunktionen for ξ, L X (ξ). Find kvotientteststørrelsen Q X (ξ) ud fra L X (ξ). Find en afskæring af formen C(X) = {ξ Q X (ξ) > z} Bed til at Q X er pivot.... p.15/21

16 Profillikelihood Husk at L X (ξ, σ 2 ) = ( ) N/2 1 e X ξ 2 /2σ 2 σ 2 For fast ξ maksimeres dette udtryk af ˆσ 2 (ξ) = X ξ 2 N så profillikelihoodfunktionen er L X (ξ) = ( ) N/2 N X ξ 2 e N/2. p.16/21

17 Profillikelihoodkvotient Kvotientteststørrelse på denne baggrund: Q X (ξ) = L X (ξ) L X (ˆξ) = ( X p(x) 2 X ξ 2 ) N/2. p.17/21

18 Afskæringsområde Kvotientteststørrelsen er i (aftagende) bijektiv korrespondence med p(x) ξ 2 /k X p(x) 2 /(N k) Vi kan derfor vælge et afskæringsområde af formen C(X) = { ξ p(x) ξ 2 } /k X p(x) 2 /(N k) < z. p.18/21

19 Afskæringsområde Hvis (ξ, σ 2 ) er de sande parametre, så er p(x) ξ 2 /k X p(x) 2 /(N k) F -fordelt, df = (k, N k) altså pivot! Vi kan derfor vælge et afskæringsområde af formen C(X) = { ξ p(x) ξ 2 } /k X p(x) 2 /(N k) < z hvor z er 95% fraktilen i F (k, N k)-fordelingen. Bemærk: C(X) er en kugle i L med centrum i p(x).. p.19/21

20 Matrixformulering V = R N. Sædvanligt indre produkt: x, y = x T y. Underrum givet ved designmatrix L = {Aβ β R k } hvor de k søjler i A er lineært uafhængige N-vektorer. Konfidensområde for β: C(X) = {β R k (β ˆβ) T A T A(β ˆβ) < kz σ } 2 hvor z er 95% fraktilen for en F (k, N k)-fordelingen.. p.20/21

21 Marginale konfidensintervaller Hvis vi betrager en lineær reel parameterfunktion, β α T β kan vi i princippet finde profillikelihoodfunktion etc. Resultatet bliver et konfidensområde af formen α T ˆβ ± α T (A T A) 1 α z σ 2 hvor z er 95% fraktilen for en F -fordeling med (1, N k) frihedsgrader.. p.21/21