Modelselektion Permeabilitet Permeabilitet Permeabilitet

Transkript

1 Modelselektion Permeabilitet Vi vil ud fra et eksempel diskutere de uhyggelige effekter af test-baseret modelselektion. Hvor lang tid er vand om at trænge igennem nyfremstillede byggeplader. Dag Dag Dag 3 Dag Dag 5 Dag 6 Vi fokuserer på backward selection, men andre strategier fungerer lige så dårligt Maskine A Maskine B Maskine C reatmentfaktor Maskine, blokfaktor Dag.. p./3. p./3 Permeabilitet Permeabilitet Hvor lang tid er vand om at trænge igennem nyfremstillede byggeplader. Ved almindelig backward selektion findes Permeabilitet Maskine A Maskine B Maskine C Dag Dag Dag3 Dag Dag5 Dag6. Ingen effekt af vekselvirkning mellem Dag og Maskine (p =.3). Ingen effekf af Dag (p =.8) 3. En signifikant effekt af Maskine (p =.3) Estimater i slutmodellen: ˆβ A =.6 ˆβB =.3 ˆβC =.58 ˆσ =.33. p.3/3. p./3

2 Hvor godt kan dette resultat genfindes ved simulation? Vi simulerer datasæt af samme struktur som de rigtige data udfra slutmodellen. Det vil sige: Der er en -effekt, men ingen B-effekt. B B B B p.5/3. p.6/3 B B B B B B p.7/3. p.8/3

3 Bonferroni: test på.5% niveau B B B B B B p.9/3. p./3 Fuld skala backward selektion B B B B B B B p./3. p./3

4 Læresætning Parameterestimater Pas på med at starte for højt oppe i træet - hvert sandt niveau koster 5%. N (.6, ) Pas på med at teste for mange afgangsmuligheder fra slutmodellen disse test har typisk ikke ret stor styrke Uden modelselektion: Alle βa Moment of zen I et stort træ er chancen for at ramme den rigtige model praktisk taget Pas på med at teste for mange grene undervejs - det kan føre til hvad det skal være heoretical Quantiles. p.3/3 Parameterestimater. p./3 Parameterestimater N (.6, ) Efter test B : N (.6, ) Efter test B 9 : Nogle βa.75 Nogle βa heoretical Quantiles heoretical Quantiles. p.5/3. p.6/3

5 Læresætning Mulige konklusioner Efter modelselektion kan man ikke stole på parameterestimaterne. Heller ikke hvis man rammer den rigtige model.. Don t go there! Undlad modelselektion. ag en stor model, og hold fast i den. Erstat eventuelt MLE med en shrinkage estimator. Prøv med model averaging. 3. Find på en anden strategi for selektionen. Selektionen skal ikke baseres på test, men på kvalitet.. p.7/3. p.8/3 Kullback-Leibler divergens Kullback-Leibler divergens For to sandsynlighedsmål ν og λ på X findes Lebesgue dekompositionen, λ = d λ d ν ν + ρ Sætning Der gælder at D(ν, λ) med lighedstegn hvis og kun hvis λ = ν. Definition Kullback-Leibler divergensen fra ν til λ er ( D(ν, λ) = log d λ ) dν. d ν Integranden er ikke altid integrabel, men D(ν, λ) er veldefineret i (, ]. Problemer med D(ν, λ) som afstandsmål:. D(ν, λ) D(λ, ν). rekantsuligheden holder ikke 3. D(ν, λ) kan være Alligevel lader vi som om D(ν, λ) er en metrik.. p.9/3. p./3

6 Eksempler på Kullback-Leibler divergens KL-divergens og loglikelihood Hvis ν = f µ og λ = g µ er d λ d ν = g f (f>) Lad Y, Y,... være iid, Y i ν θ = f θ µ. Betragt den normaliserede loglikelihood, l n (θ) = n (l n(θ) l n (θ )) Dermed er ( D(ν, λ) = log g ) f dµ f hvor θ er den sande parameter. Vi ser at l n (θ) = n n i= ( log f ) ( θ(y i ) n.s. E θ log f ) θ(y ) = D(θ, θ) f θ (Y i ) f θ (Y ). p./3. p./3 KL-divergens og MLE Kvalitetskriterium for model Lad Θ Θ være en delmodel, der ikke nødvendigvis indeholder θ. Lad ˆθ n være MLE under Θ -modellen. Første ide En model er god, hvis D(θ, Θ ) = D(θ, θ ) er lille. Lad θ være det element i Θ der ligger tættest på θ, θ = Arg min θ Θ D(θ, θ) Problem Dette kriterium vil altid foretrække en stor model frem for en lille. Sætning Under regularitetstbetingelser vil ˆθ n as N (θ, n ) Σ for en passende variansmatrix Σ = Σ(θ, Θ ).. p.3/3. p./3

7 Akaikes ide Akaikes ide Anden ide En model er god hvis MLE altid ligger tæt på den sande parameter. Altså hvis er lille. E θ D(θ, ˆθ n ) Problemet med Akaikes ide er bare at E θ D(θ, ˆθ n ) kun kan regnes ud hvis man allerede kender θ. Vi må estimere E θ D(θ, ˆθ n ) og bruge estimatet som kriterium. Principiel dekompostion: E θ D(θ, ˆθ n ) = D(θ, θ ) + E θ D(θ, ˆθ n ) hvor sidste led afhænger af hvor meget ˆθ n varierer omkring θ. En god model ligger tæt ved θ, og ˆθ n er ikke ret variabel. Det fører til et åbent kapløb mellem store og små modeller. Sætning Der findes en følge af reelle stokastiske variable Z, Z,... og en deterministisk funktion f så ( ) l n (ˆθ n ) + Z n + f(θ ) n ns E θ D(θ, ˆθ n ) hvor Z n D Z, hvor Z er χ -fordelt med dimθ frihedsgrader. Her er f ukendt og uudregnelig, men ens for alle modeller.. p.5/3. p.6/3 AIC Backward selektion vs. AIC På baggrund af Akaikes sætning bruger man størrelsen l(ˆθ n ) + E Z til at sortere efter. I praksis ganger man med to, og ser på AIC = l(ˆθ n ) + dimθ Man foretrækker modeller med den mindste AIC. B B B B Backward AIC p.7/3. p.8/3

8 Parameterestimater efter AIC Parameterestimater efter AIC N (.6, ) I de tilfælde hvor AIC vælger : N (.6, ) I de tilfælde hvor AIC vælger : Nogle βa.75 Nogle βa heoretical Quantiles heoretical Quantiles. p.9/3. p.3/3