Poul Thyregod, introslide.tex Specialkursus vid.stat. foraar Lad θ = θ(β) R k for β B R m med m k

Transkript

1 Dagens program: Likelihoodfunktion, begreber : Mandag den 4. februar Den generelle lineære model score-funktion: første afledede af log-likelihood har middelværdien nul observeret information: anden afledede af log-likelihood (krumning) forventet information: middelværdien af den observerede information g det er netop dispersionsmatricen for scorefunktionen Kort om likelihoodfunktion Flerdimensional normalfordeling Generel lineær model Estimation, fordeling af residualer mv Test for modelreduktion Successiv testning Eksempel, hjerneblodgennemstrømning hos malere 3 Likelihoodfunktion : Likelihoodfunktion, transformation af parametre : Kommer fra udtrykket for sandsynlighedstætheden Lad θ = θ(β) R k for β B R m med m k Sandsynlighedstætheden beskriver en hyppighedsfordeling af observationer - for en forelagt værdi af parameteren likelihoodfunktionen er en funktion af parameteren - for forelagte værdier af observationerne likelihoodfunktionen beskriver parameterusikkerhed, nemlig grad af overensstemmelse mellem data og parameter. Da er scorefunktionen (mht β) l β(β; y) =J T l θ(θ(β); y) (2.) hvor J = θ β med elementer J ij = θ i i =,2,...,k; j =,2,...,m β j og den forventede information er [ ] 2 i β (β) = E l(θ(β); Y) = J T i β βt θ (θ(β)) J (2.2) 2 4

2 Normalfordeling : Generel lineær model: f(y; µ,σ 2 )= [ ] ( 2π) k σ k det(σ) exp 2σ (y 2 µ) Σ (y µ) for y R k (3.4) δ Σ (y, y 2 )=y Σ y 2 (3.5) et indre produkt på R k. Tilsvarende ortogonalitetsbegreb (svarende til at det indre produkt er nul), og en norm (defineret ved y Σ = δ(y, y). Med notationen D(y; µ) = y µ 2 Σ=(y µ) Σ (y µ) (3.6) bliver tæthedsfunktionen [ ] f(y; µ,σ 2 )= ( 2π) k σ k det(σ) exp D(y; µ) (3.7) 2σ2 Model (koordinatfri): H 0 : µ L, et lineært (affint) m-dimensionalt underrum af R k (egentlig µ µ 0 L Parametriseret (i koordinater): H 0 : µ(β) =Xβ Søjlerne i X udspænder underrummet L (et lokalt koordinatsystem). β angiver punkternes lokale koordinater. Utallige ækvivalente parametriske fremstillinger af en given model. 5 7 Normalfordeling, scorefunktion og information : Eksempel, sædvanlig endimensional regression: log-likelihood l µ (µ,σ 2 ;y)= (k/2) log(σ 2 ) 2σ (y 2 µ) Σ (y µ) (3.8) Scorefunktion (m.h.t. µ) µ l µ(µ,σ 2 ;y)= [ Σ y Σ µ ] = (y µ) (3.9) σ 2 σ 2Σ bserveret information (m.h.t. µ) Ramushøjder, afsnit 3.5 Alder (år) Højde (mm) x i y i afhænger ikke af observationerne y, hvorfor den forventede information er i(µ) = σ 2Σ. j(µ; y) = σ 2Σ. (3.0) 6 8

3 Eksempel, sædvanlig endimensional regression: Generel lineær model, estimation under model: Model: dvs E[Y ] = β 0 + β x i µ = β 0 + β x µ 2 = β 0 + β x 2 µ 3 = β 0 + β x 3 µ 4 = β 0 + β x 4 µ = Xβ Koordinatfrit: maksimum-likelihood estimatet µ for sættet af middelværdier fås ved at minimere D(y; µ), dvs som den ortogonale (m.h.t δ Σ ) projektion, p L (y) af punktet y ned på det lineære underrum, L. Parametrisk: Vi bruger (2.) og (3.9) og får scorefunktionen [ ] µ β l β(β,σ 2 ;y)= β µ l µ(µ(β),σ 2 ;y)= σ 2X [ Σ y Σ Xβ ] (3.) hvorfor maksimum-likelihood estimatet for β fås som løsning til normalligningen X Σ y = X Σ X β (3.2) Altså m ligninger med m ubekendte. 9 Eksempel, sædvanlig endimensional regression: Generel lineær model, estimation under model: med X = Hvis X har fuld rang (m), er der en entydig løsning, som bestemmes ved β =(X Σ X) X Σ y (3.6) Hatmatricen H = X[X Σ X] X er projektionsmatricen, der overfører y til de fittede værdier µ (nemlig sætter hat på µ erne). idet nemlig µ = p L (y) =X β=hy Residualerne er r = y X β =(I H)y (3.7) 0 2

4 Generel lineær model, residualer og fittede værdier: Generel lineær model, fordeling af estimatorer:: pspaltning: Normalligningen y = X β + r = Hy +(I H)y X Σ (y X β) =0 (3.9) viser, at residualerne r =(y X β)er ortogonale (mht Σ )på underrummet, L, udspændt af X Bruges ved test af enkelte parameterværdier E[ β] = β (3.2) D [ β] = σ 2 (X Σ X) (3.22) D [X β] =σ 2 X[X Σ X] X =σ 2 H rang (frihedsgrader) k m. D[r]=σ 2 (I H) Bruges til at standardisere residualer 3 5 Generel lineær model, opspaltning :: Generel lineær model, estimation af σ 2 :: D(y; 0) = D(y;X β)+d(x β;0) (3.20) = (y X β) Σ (y X β)+(x β) Σ (X β) σ 2 estimeres ved s 2 = r Σ r/(k m) (3.24) x som er uafhængig af µ x x-p(x) P(x) P(x) L 4 6

5 beta 2 P (y) P (y) P2(y) P2(y) y P (y) P(y) P2(y) Y P(y) y P(y) beta Generel lineær model, test af delhypotese: Partielt test, type III opspaltning: Delhypotese: µ L 2 L Antag at H i gælder. Vi vil nu undersøge H i+ H i x x-p(x) Kvotienttestet for H i+ under antagelse af at H i kan opretholdes har teststørrelsen F (y) = D( µ; µ)/(m m 2 ) s 2, (3.33) x-p2(x) P(x) P(x)-P2(x) hvor µ angiver de fittede værdier under H i og µ angiver de fittede værdier under H i+ og s 2 angiver residualvariansen under H i. L2 P2(x) L Testet kaldes det partielle kvotienttest - eller et Type III test. Testet korrigerer for alle de effekter, der er i modellen på det pågældende trin. 7 9 Generel lineær model, kvotienttest af delhypotese:: Successiv testning i hypotesekæde: [ D(y;p 2 (y)) q 2 (y) = D(y; p (y)) + D(p (y); p 2 (y)) k/2 = + D(p (y); p 2 (y)) = D(y; p (y)) ] k/2 + m m 2 k m F k/2 R L M... L 2 L L 0 R k, (3.32) Type I opspaltning udtrykker successice projektioner ned gennem kæden af underrum. Størrelsen af leddene i Type I opspaltningen kan afhænge af rækkefølgen i modelformlen beta 2 P (y) y P (y) Kvotienttestet fører således til F-teststørrelsen F = D(p (y); p 2 (y))/(m m 2 ) D(y; p (y))/(k m ) der følger en F(m m 2,k m )-fordeling (eksakt resultat) P (y) P2(y) P2(y) P(y) P2(y) Y P(y) y P(y) beta 8 20

6 Successiv testning i hypotesekæde: Type III opspaltning svarer til at man fjerner et led - og vurderer reduktionen i model SSQ ved at fjerne det så smider man det ind igen, og fjerner et af de andre. Type III opspaltningen afhænger ikke af rækkefølgen i modelformlen. I praksis tager man udgangspunkt i en type III opspaltning og fjerner mindst betydende - og mest komplicerede led. derefter reestimeres - og reduceres Indskud om multikollinearitet: Det kan ske, at to eller flere af de forklarende variable følges ad (er næsten lineært afhængige). Konsekvenser af dette er, at modellen er signifikant, men estimaterne for de enkelte koefficienter har stor varians (X X er næsten singulær). Desuden er fortolkningen af de enkelte koefficienter højst tvivlsom. Diagnostikker for multikollinearitet udskrives sammen med estimaterne: TL i = Ri 2 hvor Ri 2 er den multiple determinationskoefficient fra regressionen af den i te forklarende variable på de øvrige. Lille TL er tegn på multikollinearitet. V[ β i /TL i VIF i =/T L i Hvis VIF i > 0 grund til bekymring 2 23 Diagnostikker: Eksempel, Blodgennemstrømningsindeks hos malere: versigt over diagnostiske størrelser samt parametriseringer i notens afsnit 3.9. til Eksempel på Brug af forklarende regressionsvariabel til korrektion for forskelle i populationer (Kovariansanalyse) Brug af modelformler Forskel på typei og type III opspaltning 22 24

7 Eksempel, Blodgennemstrømningsindeks hos malere: Først tegnes boxplot for ISI for de to grupper Ikke stærke tegn på forskel Så proves t-test for to uafhængige stikprøver ved brug af FIT-menuen Tegn ISI mod alder, marker de to grupper hver for sig Indikation af sammenhæng mellem ISI og alder Korriger for alderseffekten ved stor model: ISI = RG ALDER RG ALDER To rette linier Test for reduktion af model til to parallelle linier: ISI = RG ALDER Nu er effekten af brugen af opløsningsmidler signifikant. 25