Modellens parametre Mandag den 25 april Hierarkiske normalfordelingsmodeller Dagens program: Resume af ensidet variansanalysemodel med tilfældig effekt estimation af tilfældige effekter, fortolkning som BLUP estimation, empirisk Bayes-estimation, Steins sætning Tilfældige regressionslinier Hierarkiske flerdimensionale observationer Generelle lineære mixed models SAS PROC Mixed Begyndelse af hierarkiske modeller for eksponentielle familier Modellen har parametrene µ 0,σ 2,σ 2 b Vi sætter (Signal støj- forhold) γ = σ 2 b/σ 2 3 Hierarkisk model, normalfordeling Først udtages en balle tilfældigt Derefter udtages fire prøver tilfældigt fra denne balle Fordeling af i te sæt Lad Y i angiver observationer fra i te udtagne balle Y ij j te prøve fra i te balle For fastholdt balle, uafhængige gentagelser Y, Y 2,,Y q er uafhængige observationssæt Y i N ni (µ 0,σ 2 I ni +σbj 2 ni ) hvor J n angiver en n n matrix med ettaller Y ij µ i N(µ i,σ 2 ), Y i µ i N(µ i,σ 2 I 4 ) Ballerenheden µ i varierer fra balle til balle: µ i N(µ 0,σb 2 ) indbyrdes uafhængige Dispersionsmatricen for Y i er V i = D [Y i ]=E[(Y i µ 0 )(Y i µ 0 ) T ] σb 2 + σ2 σb 2 σb 2 σb = σb 2 σb 2 σb 2 σb 2 σb 2 +σ2 2 4
Fordeling af hele observationssættet Y består af q uafhængige gentagelser med fordeling som Y i D [Y] =V= Blok diag{v i } Estimation (prædiktion) af enkelte ballemiddelværdier Det hierarkiske maximum likelihood estimat er BLUP-estimat (best linear unbiased predictor), et vejet gennemsnit mellem stikprøveresultat og fælles middelværdi Shrinkage (krympning) mod fælles gennemsnit Empirisk Bayes fortolkning (estimeret apriorifordeling) 5 7 Estimation (prædiktion) af enkelte ballemiddelværdier Løsningen tilfredsstiller µ i =( w i ( γ))y i + w i ( γ) µ 0 et vejet gennemsnit mellem de individuelle gennemsnit y i og det fælles gennemsnit µ 0 med vægtene ( w i ( γ)) og w i (γ), hvor w = V[E[ θ θ]] E[V[ θ θ]] + V[E[ θ θ]] E[V[ θ θ]] w = E[V[ θ θ]] + V[E[ θ θ]] netop er de to bidrag (variationen indenfor balle, og variationen mellem baller) fra opspaltningen af den totale varians V[ θ] =E[V[ θ θ]] + V[E[ θ θ]] Empirisk Bayes estimat har mindre estimationsfejl end ML-estimat i systematisk model Stein s sætning vedrørende simultan estimation: (Bemærkning, side 246) Ved en systematisk (fixed effects) model for de enkelte balleniveauer estimeres hver balle ved sit gennemsnit, y i, med varians σ 2 /n Betragt den gennemsnitlige estimationsfejl R(µ,d()) = [ k E ( ) ] 2 di (y) µ i hvor d i (y) angiver estimatoren µ i for det i te balleniveau 6 8
Stein s sætning Betragt opspaltningen af den gennemsnitlige estimationsfejl i varians og bias: R(µ,d()) = [ k E ( ) ] 2 di (y) µ i = [ { }] k E (d i (y) E[d i ]) 2 +(E[d i ] µ i ) 2 = ( ) V[d i ]+δi 2 k hvor δ i = E[d i ] µ i angiver bias for estimatoren d i (y) Såfremt man vælger maximum-likelihood estimatoren d ML i (y)=y i, finder man R(µ,d ML ()) = V[yi ]=σ 2 /n k idet estimatoren er central (ikke har nogen bias) Man kan vise (Stein 955), at såfremt man benytter empirisk Bayes estimatoren d EB i (y)=w(y)y+( w(y))y i gælder for et vilkårligt parametersæt µ, at R(µ,d EB ()) <R(µ,d ML ()) Empirisk Bayes estimat som shrinkage estimat (vejet gennemsnit mellem fælles middelværdi og individuelle gennemsnit) Ballegennemsnit xi 6 Balle 7 60 Balle 5 59 Balle 6 Fælles 58 Balle 2 gennemsnit Balle 4 Balle 3 57 56 Balle 55 000 020 040 060 080 00 ŵ Krympningsfaktor w 9 Intuitivt For w<vil E[wy i ]=wµ i <µ i og V[wy i ]=w 2 V[y i ]<σ 2 /n Ved brug af empirisk Bayes-estimatet får vi altså reduceret variansen på bekostning af en lille bias δ i =( w)µ i R(µ,d EB ()) k [w 2 σ 2 /n +( w 2 )µ 2 i ]< k σ 2 /n Andre eksempler på hierarkiske modeller, og bestemmelse af aposteriorifordelinger Tilfældige regressionslinier 2 Todimensionale målinger 0 2
Varierende regressionslinier Ramushøjder for 5 drenge ved fire forskellige aldre Aposteriorifordeling af regressionskoefficienter Y en n dimensional vektor af observationer, og X en n p dimensional matrix af kendte koefficienter Lad Y β N n (Xβ,σ 2 V) og lad apriorifordelingen af β være β N p (β 0,σ 2 Λ) Systematiske modeller: Vi kunne lave én fælles regressionslinie for alle 5 drenge, eller vi kunne estimere 5 individuelle regressionslinier (en for hver dreng), Aposteriorifordelingen af β efter observation af Y = y er β Y = y N p (β,σ 2 Γ ) hvor β = Wβ 0 +(I W) β med W =(I+Γ) og β er den sædvanlige mindste kvadraters estimator 3 5 Flerdimensional normalfordeling Varierende regressionslinier, tilfældig (hierarkisk) model 3 gentagne kalibreringer af 6 flowmålere, der er udtaget af en større målerpopulation De 6 målere blev hver kalibreret ved de samme to flow, henholdsvis 0 [m 3 /h] og 05 [m 3 /h] Data opfattes som en stikprøve af drenge Y i = Xβ i + ɛ i,i=,2,,k hvor β i N 2 (β 0,σ 2 Γ), ɛ i N n (0,σ 2 I n ), β i,β j er indbyrdes uafhængige for i j, Kovariansmatricen Γ angiver kovariansmatricen i populationsfordelingen af intercepter og hældninger (med målestøjen σ 2 trukket ud som en faktor) 4 6
Flerdimensional normalfordeling, hierarkisk model Flerdimensional normalfordeling, variation indenfor målere X ij = µ 0 + α i + ɛ ij,i=4,42,, 46; j =,2,3 hvor α i er uafhængige, α i N 2 (0, Σ 0 ) 7 9 Flerdimensional normalfordeling, variation mellem målere Flerdimensional normalfordeling, aposteriorifordeling Lad X µ N p (µ, Σ), ogladµ N p (µ 0,Σ 0 ), Da er aposteriorifordelingen af µ efter observation af X = x givet ved µ X = x N p (Wµ 0 +(I W)x,(I W)Σ) med W = Σ(Σ 0 + Σ) og I W = Σ 0 (Σ 0 + Σ) Lad Γ = Σ 0 Σ betegne den generaliserede kvotient mellem variansen mellem grupper og variansen inden for grupper, da kan matricerne W og I W udtrykkes ved W =(I+Γ) og I W =(I+Γ) Γ 8 20
Generel lineær mixed model Fixed effects β (designmatrix X ) Random effects U ( designmatrix Z ) ɛ N n (0, R) og U N m (0, D) uafhængige Y n, = X n,k β k, + Z n,m U m, + ɛ n, D [ u E ɛ [ u ɛ ] = ] = ( ) 0 0 ( ) D 0 0 R R og D kendt struktur, men eventuelt med ukendte parametre De hierarkiske modeller som generelle lineære mixede modeller Uldballer: idet nemlig X 28, = 0 0 0, Z 0 0 0 28,7 = 0 0 0 0 0 0 R=σ 2 I 28, D = σ0i 2 7 u u u = 2 angiver det tilfældige bidrag fra hvert af de syv balleniveauer u 7 2 23 Marginal fordeling Ramushøjder: Marginal fordeling af Y E[Y] = Xβ D [Y] = V = R+ZDZ 80 80 0 0 0 85 85 0 0 0 90 90 0 0 0 X 20,2 = 95, Z 20,5 = 95 0 0 0 80 0 0 80 0 95 0 0 0 0 95 idet nemlig R=σ 2 I 20, D = Λ 2,2 I 5 = Blok diagλ 2,2 u u u = 2 angiver det tilfældige bidrag til intercept, u 2ν, og hældning, u 2ν, fra hver af de fem drenge, ν =,2,,5 u 0 22 24
Generel lineær mixed model Er en meget rig klasse af lineære normalfordelingsmodeller Forstyrrende tilfældige effekter (blokke i forsøgsplanlægning) Interessante tilfældige effekter (variation mellem personer) Kan også løses i ubalancerede situationer PROC MIXED Eksempel tilfældige regressionslinier PROC MIXED DATA=ramus ; CLASS DRENG; MODEL ramus = ald /solution OUTP= pred ; RANDOM int ald /subject = dreng solution type=un; run; Udfører estimation af varians-kovarians matrix for intercept og hældning, samt BLUP-estimation af de tilfældige effekter 25 27 PROC MIXED Generel lineær mixed model, estimation af effekter Mixed effect ligningerne ( X R X X R Z Z R X Z R Z+D )( ) β = u løses ved iteration - og iterativ bestemmelse af parametre i R og D ( ) X R y Z R y SUBJECT = specificerer de uafhængige blokke TYPE = specificerer strukturen af R og D Mange muligheder for matricerne R og D Estimaterne for u er BLUP-estimater 26 28