Den lineære normale model

Transkript

1 Den lineære normale model Ingredienser: V : N-dimensionalt vektorrum. X : Ω V : stokastisk variabel. L : ægte underrum af V, dimension k., : fundamentalt indre produkt på V. Vi laver en hel familie af indre produkter på V : x, y σ 2 = x, y σ 2. p.1/26

2 Den lineære normale model Antagelse X er regulært normalfordelt på V med - centrum ξ L - præcision, σ 2 Parametrisering (ξ, σ 2 ) L (0, ). p.2/26

3 Maksimaliseringsestimation Maksimaliseringsestimator: ˆξ = p(x) ˆσ2 X p(x) 2 = N hvor p er ortogonalprojektionen ned i L. x Sfrag replacements L p(x) 0. p.3/26

4 Estimation i praksis Sædvanlig estimator ˆξ = p(x) σ2 = X p(x) 2 N k hvor p er ortogonalprojektionen ned i L. Sfrag replacements L x p(x) 0. p.4/26

5 Fordelingsresultat ˆξ og ˆσ 2 er uafhængige. ˆξ er regulært normalfordelt på L med - centrum ξ L - præcision: restriktionen af, σ 2 til L. ˆσ 2 er χ 2 -fordelt med formparameter N k skalaparameter σ 2 /N. p.5/26

6 Matrixformulering V = R N. Sædvanligt indre produkt: x, y = x T y. Underrum givet ved designmatrix L = {Aβ β R k } hvor de k søjler i A er lineært uafhængige N-vektorer. ˆξ = A(A T A) 1 A T X ˆβ N ( β, σ 2 (A T A) 1). p.6/26

7 Lineær hypotese En lineær hypotese er af formen H : ξ L hvor L er et lineært underrum af L af dimension m. Sfrag replacements L x 0 p(x) p (x) L. p.7/26

8 Intuitivt test-ide Intuitivt: vi tror på den lineære hypotese hvis X p (X) 2 X p(x) 2 Udmøntning: Udregn F = p(x) p (X) 2 /(k m) X p(x) 2 /(N k) Fortolkning: Små F -værdier får os til at tro på hypotesen Store F -værdier får os til at forkaste hypotesen. p.8/26

9 F testet F -størrelsen udregnes ofte som F = p(x) 2 p (X) 2 /(k m) X 2 p(x) 2 /(N k) Hvis hypotesen er sand er F F -fordelt, df = (k m, N k) Vi kan bruge 95% fraktilen i denne fordeling som grænse mellem stort og småt.. p.9/26

10 B testet Udregn B = X p(x) 2 X p (X) 2 Fortolkning: Små B-værdier får os til at forkaste hypotesen Store B-værdier får os til at tro på hypotesen Hvis hypotesen er sand er B B-fordelt, df = (N k, k m) Vi kan bruge 5% fraktilen i denne fordeling som grænse mellem stort og småt.. p.10/26

11 Ækvivalente test Bemærk: B = N k N K + (k m)f så F -test og B-test er ækvivalente.. p.11/26

12 Kvotienttest L X (ξ, σ 2 ) = ( ) N/2 1 σ 2 e X ξ 2 /2σ 2 Maksimering under modellen: L X (ˆξ, ˆσ 2 ) = ( ) N/2 N X p(x) 2 e N/2 Maksimering under hypotesen: L X (ˆξ, ˆσ2 ) = ( ) N/2 N X p (X) 2 e N/2. p.12/26

13 Kvotienttest Kvotientteststørrelse: Q = L X(ˆξ, ˆσ2 ) L X (ˆξ, ˆσ 2 ) = ( X p(x) 2 X p (X) 2 ) N/2 = B N/2 Konklusion: Kvotienttest er ækvivalent med B-test.. p.13/26

14 Konfidensområde Problem: Find konfidensområdet for parameterfunktionen (ξ, σ 2 ) ξ (Variansparameteren σ 2 er en støjparameter) Strategi: Find profillikelihoodfunktionen for ξ, L X (ξ). Find kvotientteststørrelsen Q X (ξ) ud fra L X (ξ). Find en afskæring af formen C(X) = {ξ Q X (ξ) > z} Bed til at Q X er pivot.... p.14/26

15 Profillikelihood Husk at L X (ξ, σ 2 ) = ( ) N/2 1 σ 2 e X ξ 2 /2σ 2 For fast ξ maksimeres dette udtryk af ˆσ 2 (ξ) = X ξ 2 N så profillikelihoodfunktionen er L X (ξ) = ( ) N/2 N X ξ 2 e N/2. p.15/26

16 Profillikelihoodkvotient Kvotientteststørrelse på denne baggrund: Q X (ξ) = L X (ξ) L X (ˆξ) = ( X p(x) 2 X ξ 2 ) N/2. p.16/26

17 Afskæringsområde Kvotientteststørrelsen er i (aftagende) bijektiv korrespondence med p(x) ξ 2 /k X p(x) 2 /(N k) Vi kan derfor vælge et afskæringsområde af formen { C(X) = ξ p(x) ξ 2 } /k X p(x) 2 /(N k) < z. p.17/26

18 Afskæringsområde Hvis (ξ, σ 2 ) er de sande parametre, så er p(x) ξ 2 /k X p(x) 2 /(N k) F -fordelt, df = (k, N k) altså pivot! Vi kan derfor vælge et afskæringsområde af formen { C(X) = ξ p(x) ξ 2 } /k X p(x) 2 /(N k) < z hvor z er 95% fraktilen i F (k, N k)-fordelingen. Bemærk: C(X) er en kugle i L med centrum i p(x).. p.18/26

19 Matrixformulering V = R N. Sædvanligt indre produkt: x, y = x T y. Underrum givet ved designmatrix L = {Aβ β R k } hvor de k søjler i A er lineært uafhængige N-vektorer. Konfidensområde for β: C(X) = {β R k (β ˆβ) T A T A(β ˆβ) < kz σ } 2 hvor z er 95% fraktilen for en F (k, N k)-fordelingen.. p.19/26

20 Marginale konfidensintervaller Hvis vi betrager en lineær reel parameterfunktion, β α T β kan vi i princippet finde profillikelihoodfunktion etc. Resultatet bliver et konfidensområde af formen α T ˆβ ± α T (A T A) 1 α z σ 2 hvor z er 95% fraktilen for en F -fordeling med (1, N k) frihedsgrader.. p.20/26

21 Lineær regression X i = α + β t i + ɛ i t i : kovariat til i te måling. α: modellens intercept. β: modellens hældning Støjvariablene ɛ 1,..., ɛ N er uafhængige, N (0, σ 2 )-fordelte.. p.21/26

22 Lineær regression Lineær normal model på R N med designmatrix A = 1 t 1 1 t t N og det sædvanlige indre produkt som grndlæggende præcision.. p.22/26

23 Forkortelser S for Sum, S x = N X i, S t = N t i, i=1 i=1 SS for Sum of Squares, SS x = N X 2 i, SS t = N t 2 i, i=1 i=1 SP for Sum of Products, SP tx = N i=1 t i X i.. p.23/26

24 Forkortelser SSD for Sum of Squares of Deviation, SSD x = SSD t = SP D tx = N (X i X ) 2 = SS x S 2 x /N i=1 N (t i t ) 2 = SS t S 2 t /N i=1 N (t i t )(X i X ) = SP tx S t S x /N. i=1. p.24/26

25 Estimation i lineær regression ( N St ) A T A = S t SS t og dermed ( ) 1 A T 1 A = N SS t S 2 t ( SSt S t S t N ) = 1 N + t2 SSD t t SSD t t 1 SSD t SSD t.. p.25/26

26 Estimation i lineær regression Tilsvarende er ( Sx ) A T X = SP tx. Så ( ˆα ˆβ ) = ( A T A) 1 A T X = 1 N + t2 SSD t t SSD t t 1 SSD t SSD t ( Sx SP tx ) = X t SP D tx SSD t SP D tx SSD t.. p.26/26