Regressionsmodeller. Kapitel Ikke-lineær regression

Transkript

1 Kaptel 0 Regressonsmodeller V vl dette kaptel dskutere eksempler på mere komplceret modeller, med observatoner, der nok er uahængge, men kke dentsk ordelte I sådanne modeller kan der opstå et naturlgt behov or reskalerngsskemaer, der er mere komplcerede end den sædvanlge n-skalerng 0 Ikke-lneær regresson V starter med en generel kke-lneær regressonsmodel med normalordelte ejl Lad Y, Y 2, være uahængge, reelle stokastske varable, og antag at Y n N n θ, σ 2 or n =, 2, 0 V antager at θ Θ, hvor Θ er en åben delmængde a R d For den n te observaton har v gvet en unkton n : Θ R, der oversætter den generelle abstrakte mddelværdparameter θ tl en mddelværd or netop denne observaton Som regel er n gvet på ormen n θ = gt n, θ, 02 hvor t n repræsenterer en eller lere kovarater, der er knyttet tl den n te observaton, og hvor g-unktonen er den samme or alle observatoner Klasssk lneær regresson passer nd dette skema med gt, α, β = α + β t 3

2 32 Kaptel 0 Regressonsmodeller Andre lneære normale modeller kan også uden vdere brnges på ormen 0 I de lneære normale modeller har det altd været tlladt at kovaraten ndgk kkelneært mddelværdudtrykket - det nye er at v tllader at g varerer kke-lneært med parameteren θ Eksempel 0 Et vtterlgt kke-lneært eksempel er Mchaels-Menten unktonen ra enzymknetk, gt, α, β = β t α + t 03 Her ndgår β lneært, mens α ndgår kke-lneært I anvendelser vl g repræsentere dannelseshastgheden a et kemsk produkt, når der dannelsesreaktonen ndgår en katalysator - altså et sto, der er nødvendgt or reaktonen, og som mulgvs omdannes undervejs, men som ved reaktonens aslutnng har samme orm som ved reaktonens begyndelse I så ald vl produktonshastgheden ahænge dels a hvor meget katalysator, der er tl stede - katalysatormængden udgør en slags laskehals or reaktonen Og dels a hvor meget substrat der er tl stede - substrat er betegnelsen or det sto, der omdannes tl produkt reaktonen Mchaels-Menten unktonen beskrver produktonshastgheden som unkton a substratmængden t, under antagelse a en ast mængde katalysator proportonal med parameteren β Der er tale om en såkaldt steady state approksmaton tl den rgtge produktonshastghed, der kun svarer tl vrkelgheden det omang produktonshastgheden er så lav at mængden a substrat essentelt kke ændres t Y t Y t Y Tabel 0: Data ra et enzymknetsk eksperment I hvert deleksperment repræsenterer t en nøje avejet substratmængde, mens Y repræsenterer en ekspermentets respons: en målt produktonshastghed Data er optegnet gur 0 I prakss kan det være ldt tvvlsomt at anvende 0 med Mchaels-Menten unktonen som regressonsunkton Problemet er at der ote vl være varansheterogentet: målnger med lave t-værder vl have mndre varans end målnger med høje

3 0 Ikke-lneær regresson 33 Hastghed Substrat Fgur 0: Samhørende værder a substratmængde og produktonshastghed ra tabel 0 Der er også optegnet en estmeret Mchaels-Menten kurve, med ˆα = 0 og ˆβ = 7 Estmateterne er opnået ved at mnmere den relevante verson a 04 ved hjælp a en quas- Newton algortme t-værder Man orsøger gerne at løse problemet ved at se på logartmen a produktonshastghederne Men det ører naturlgvs tl at man erstatter Mchaels-Menten unktonen med dens logartme I prakss er kke-lneær regresson ote orbavsende let at have med at gøre Lkelhoodunktonen på baggrund a observatonen X n = Y,, Y n er L n θ, σ 2 = = n 2π σ 2 e Y θ /2σ 2 n/2 n/2 2π σ 2 e n 2 Y θ /2σ 2 For ast σ 2 søger v at maksmere L n θ Det kommer ud på at mnmere θ Y θ 2 04

4 34 Kaptel 0 Regressonsmodeller Hvs dette mnmum antages ˆθ, kan v konstatere at ˆθ kke ahænger a det ast σ 2 Prollkelhoodunktonen or σ 2 er deror L n/2 n/2 n σ 2 = 2π σ 2 e n 2 Y ˆθ /2σ 2 Og det er elementært at se at denne unktone maksmeres a ˆ σ 2 = n Y ˆθ 2 Vanskelghederne kke-lneær regresson består således udelukkende at mnmere 04 Hvs man er stand tl at komme med et nogenlunde kvalceret bud på hvor Θ dette mnmum bender sg, er det typsk ganske lgetl at nde mnmum ved hjælp a numerske metoder, som eks Newton-Raphson algortmen Man skal dog holde sg or øje at der meget vel kan være lere lokale mnma or 04, og det kan være svært at vælge det rgtge Men hvad ved man om estmatorens ordelng? Stuatonen er temmelg orskellg ra det lneære tlælde, hvor man jo har eksplctte udtryk or estmatoren Her er v nødt tl at orlade os på den asymptotske teor I ørste omgang vl v antage at σ 2 er kendt en aldeles horbel antagelse, der kun kan optræde undervsnngsmaterale - en vrkelg anvendelse vl man gøre sg tl grn hvs man oreslår noget den retnng og at Θ R er et åbent nterval V antager endvdere at alle n erne er C 2 og at der ndes konstanter a og b så 0 < a n θ og n θ b or alle θ Θ, n =, 2, 05 Dsse antagelser er opyldt det lneære tlælde n θ = t n θ, 06 hvs blot t n erne holder sg væk ra nul Hvs t n er meget llle, bdrager den n te observaton stort set kke tl at separere mellem de orskellge θ-værder, så denne restrkton er kke helt urmelg Dog vlle man oretrække at man grænsen n aktsk tllod mndre og mndre kovarater - men det blver krævende at ormulere de relevante betngelser Loglkelhoodunktonen er l n θ = n 2 log 2π + n 2 log σ2 + 2σ 2 Y θ 2

5 0 Ikke-lneær regresson 35 V ser at og at l n θ = σ 2 l n θ = 2σ 2 θ2 σ 2 2 Y θ θ, Y θ θ Bemærk at n Y θ θ Z n = n θ er en normalordelt stokastsk varabel under P θ med mddelværd 0 og varans VZ n = n θ σ 2 n θ n b 2 σ 2 n a 2 = b 2 σ 2 n a 4 Da denne varans går mod nul, vser Chebyshevs ulghed at Z n P 0 or n Deror kan v konkludere at l n θ n θ Det mere end antyder at det relevante reskalerngsskema er a n = θ P σ 2 or n 07 V ser at a n na 2, så a n 0 or n Der er vtterlgt tale om et lovlgt - omend parameterahænggt - reskalerngsskema, og 07 vser at det opylder Regulartetsbetngelse A I mange tlælde vl n n a være konvergent, gerne med en grænse, der ahænger a θ I så ald kunne man lge så godt bruge det sædvanlge n-skema Men om a n n er konvergent, ahænger helt a hvordan kovaraterne udvkler sg med n I det lneære tlælde 06 blver a n = t 2, der ote - men kke altd - udvkler sg som n I dette tlælde er reskalerngsskemaet det mndste ens or alle parametre, men det er allgevel umulgt at sge noget generelt om dets asymptotske opørsel

6 36 Kaptel 0 Regressonsmodeller Lad os checke Regulartetsbetngelse C: a n l n θ = σ 2 n θ Y θ n θ Denne størrelse er normalordelt, den har mddelværd 0, og den har varans Det vl sge at n θ σ 2 σ 4 n θ = σ 2 l n a θ D N 0, n σ 2 or n, endda på den overbevsende måde at samtlge reskalerede scoreunktoner har den postulerede grænseordelng V bemærker øvrgt ved at sammenlgne med 07 at Regulartetsbetngelse D er opyldt Den vanskelge Regulartetsbetngelse B kommer dette tlælde ud på at vse at sup a n θ θ <c or alle c > 0 Bemærk at l n θ = σ 2 a n 2 θ2 + σ 2 l n θ l n θ P 0 or n, θ θ θ σ 2 Y θ θ, hvor v har sørget or at den stokastske del har mddelværd 0 For ast θ har v at E θ Y θ θ < Et klasssk resultat om summer a uahængge stokastske varable gver deror at Y θ θ er næsten skkert konvergent under P θ Og vdere skrer Kroneckers lemma at n Y θ θ ns 0 or n

7 0 Ikke-lneær regresson 37 Analogt med bevset or den unorme SLLN, sætnng 93, kan man vse at sup Y θ θ ns n 0 or n, θ θ <δ or hvert ast δ Det kræver ldt arbejde, med udtyndng a overdæknnger a kompakte mængder etc, og v sprnger detaljerne over Men v ser at når c/a n < δ så er sup Y a n θ θ <c a 2 θ θ n = sup a n θ θ <c n n Y θ θ n n θ sup θ θ <δ n n Y θ θ 0 Dermed reducerer problemet med Regulartetsbetngelse B tl at vse at n sup θ2 θ n θ θ θ a n θ θ <c n θ + n θ 0 Det er et rent determnstsk problem - al stokastk er væk Bemærk at θ θ = θ θ θ + 2 η θ θ, or et passende mellempunkt η Dermed gver Cauchy-Schwars ulghed og betngelserne 05 at n θ θ θ n θ n = θ θ n θ θ θ + n η θ 2 n θ θ θ n θ /2 nb 2 /2 n θ θ θ + n b 2 2 n θ θ θ, V ser således at n θ sup θ θ a n θ θ <c n θ a n n b a 2 n a 2 c + n b 2 a n 2 a 2 n c 2 a n 2 0,

8 38 Kaptel 0 Regressonsmodeller hvor v har udnyttet at n a n 2 a 2 Stort set samme teknk vl vse at sup a n θ θ <c n θ2 θ n θ 0, og v har deror påvst at Regulartetsbetngelse B er opyldt Man kan slække en smule på antagelserne bag dsse regnnger Den nedre betngelse på de aledte a n erne kan erstattes a n θ θ <δ n θ2 a > 0 or alle δ og alle θ eventuelt med et θ -ahænggt a hvs det skulle være nogen hjælp tl Mere nteressant er det at regnngen kan gentages uden nogen normalordelngsantagelse Altså hvs Y n = n θ + U n or n =, 2,, hvor U, U 2, er uahængge, dentsk ordelte stokastske varable med mddelværd 0 og kendt varans σ 2 Hvs man denne model estmerer θ ved at mnmere 04, så vl alle regnnger alde ud som ør, bortset ra det trn hvor v vste at den reskalerede scoreunkton konvergerer mod en normalordelng Men udnyttes Hájeks CLT kommer den ønskede normalordelng rem allgevel, under den ekstra orudsætnng at max,,n θ nj= j θ 0 or n Endnu mere nteressant er det selvølgelg at droppe den jollede antagelse om kendt varans Med tlstrækkelg hærdghed kan det lade sg gøre - det relevante reskalerngsskema blver n A n = θ 0 0 n Allermest nteressant vlle det selvølgelg være at se på den generelle stuaton hvor Θ R d, hvor σ 2 er ukendt og hvor Y n = n θ + σu n or n =, 2,

9 02 Possonregresson 39 med U erne uahængge, dentsk ordelte med kendt ordelng med mddelvær 0 og varans, men kke nødvendgvs normalordelte Men rent notatonsmæssgt blver denne stuaton så komlceret at håndtere at det blver meget svært at opstlle menngsulde betngelser på kovaraterne, der skrer at maksmalserngsestmatorerne er asymptotsk normalordelte 02 Possonregresson Possonregressonsmodeller er modeller or stokastske varable Y, Y 2, der er uahængge og Possonordelte med hver sn mddelværd Typsk ahænger mddelværden a en eller lere kovarater, og den sædvanlge antagelse er at logartmen a mddelværden er en lneær kombnaton a dsse kovarater Den model, der denne ramme svarer tl sædvanlg lneær regresson, er altså EY n = e α+β t n or n =, 2, 08 V vl undersøge 08 or et helt specelt valg a kovarater, nemlg t n = n or alle n Dette valg a kovarater svarer næppe tl nogen realstsk målestuaton - det ører tl en målngseksploson når n vokser, og der er næppe noget yssk måleapparat, der vl være stand tl at ølge med ret langt Men det llustrerer på ret dramatsk vs hvad der kan ske med den asymptotske analyse, hvs enkeltmålngerne har meget orskellgt normatonsndhold V antager det ølgende at β > 0 - negatve β er ører tl en helt anden modelopørsel V nder på baggrund a observatonen X n = Y,, Y n lkelhoodunktonen n e α+β Y L n α, β = e eα+β, Y! og dermed loglkelhoodunkton l n α, β = α Y β Det ører tl de partelle aledede l n α, β α = Y + Y + e α+β, e α+β + l n α, β β = log Y! Y + e α+β

10 40 Kaptel 0 Regressonsmodeller Endvdere er 2 l n α, β α 2 = e α+β, 2 l n α, β α β = e α+β, 2 l n α, β β 2 = 2 e α+β Dsse andenordens partelle aledede er rent determnstske, hvlket letter de ølgende regnnger en del Lad os erndre om ormlerne x k = x, k=0 k x k = x x 2, k=0 k 2 x k = x + x x 3, k=0 der alle gælder or x < Den ørste a dsse ormler er utvvlsomt velkendt, de to øvrge kan opnås ud ra den ørste ved ledvs derentaton og ldt ngerærdg manpulaton Formlerme tllader os at styre den anden aledede a lkelhoodunktonen Lad os ndøre de tre β-ahængge ølger n γ n = e β j, γ 2n = n j e β j, γ 3n = n j 2 e β j Det ølger a potensrækkeormlerne at de tre ølger er konvergente, med V har at lm γ n = n, lm e β γ 2n = n e β e β, lm γ 3n = e β + e β n e β 3 2 l n α, β α 2 n = e α+β n e β n = e α+β n e β j = e α+β n γ n Tlsvarende har v at 2 l n α, β α β n = e α+β n e β n = e α+β n n j e β j n = e α+β n n = e α+β n nγ n γ 2n, n e β j j e β j

11 02 Possonregresson 4 og v har at 2 l n α, β β 2 = e α+β n n 2 e β n = e α+β n n j e β j n n = e α+β n n2 e β j 2n e β j + = e α+β n n 2 γ n 2nγ 2n + γ 3n n j 2 e β j Det ølger a dsse regnnger at D 2 l n α, β = e α+β n γ n nγ n γ 2n nγ n γ 2n n 2 γ n 2nγ 2n + γ 3n Et kvalceret bud på en reskalerngssekvens vlle være A n = e β n/2 0 0 n or denne normerng vll medøre at D 2 l n 0, 0 = A T n D 2 lα, β A n 0 γ n nγ n γ 2n = e α 0 n nγ n γ 2n n 2 γ n 2nγ 2n + γ 3n γ n γ n = e α n γ 2n γ n n γ 2n γ n 2 n γ 2n + n γ 3n 0 0 n Hera alæses let at D 2 l n 0, 0 e α e β or n Og alt ser således strålende ud - ndtl man opdager at grænsematrcen kke er postvt dent: de to søjler er lneært ahængge Så det reskalerngsskema v har valgt, ører kke tl at Regulartetsbetngelse A er opyldt En væsentlg mndre oplagt de er at bruge reskalerngsskemaet B n = e β n/2 n 0

12 42 Kaptel 0 Regressonsmodeller Da er B n = e β n/2 n, 0 T Bn = e β n/2 0 n Og dermed vl den reskalerede loglkelhoodunkton å anden aledet D 2 l n 0, 0 = B T n D 2 lα, β B n 0 γ n nγ n γ 2n n = e α n nγ n γ 2n n 2 γ n 2nγ 2n + γ 3n 0 γ n γ 2n = e α γ 2n γ 3n e β e e β e β 2 α e β e β 2 e β + e β e β 3 Grænsen er symmetrsk, med determnant e 2 α e β + e β e β 4 e 2 α e 2β e β 4 = e 2 α e β e β 4, der ses at være skarpt postv Da dagonalelementerne er postve, ser v også at grænsen har postvt spor Hera ølger at begge egenværder er strengt postve Altså er denne grænsematrx postvt dent! Etersom l n αβ = Y Y e α+β e α+β ølger det at l n α, β har mddelværd 0 og varans V l n α, β VY VY = VY 2 = e α+β VY 2 = D 2 l n α, β Og deror ølger det at V T Bn ln α, β e α e β e β e β 2 e β e β 2 e β + e β e β 3 V undlader at argumentere or at B n T ln α, β aktsk er asymptotsk normalordelt, lgesom v undlader at argumentere or at Regulartetsbetngelse B er opyldt,

13 02 Possonregresson 43 men begge dele kan prncppet lade sg gøre hvs man er besddelse a tlstrækkelg hærdghed Deror tllader v os at konkludere at den lokale M-estmator ˆα n, ˆβ n ndes med sandsynlghed gående mod, at den er lg med den globale maksmalserngsestmator D 2 l n er postvt dent, så der kan højst ndes ét lokalt mnmum or l n, og at den opylder at e β n/2 n 0 ˆαn ˆβ n αn β n D N 0, Σ or n, hvor Σ = e α e β e β e β 2 e β e β 2 e β + e β e β 3 + e β e β e β 2 e β e β e β 3 = e α Dette er paradeeksemplet på at normerng med kke-dagonale matrcer kan være nødvendgt vsse eksotske sammenhænge Fænomenet har vrkelgheden kke noget at gøre med Possonordelnger - det optræder de leste regressonsmodeller, hvs man er parat tl at vælge sn ølge a kovarater tlstrækkelgt patologsk Om det er relevant prakss er en anden sag Her står man jo altd med kun endelgt mange observatoner, og dermed endelgt mange kovarater At analysere st eksperment under den orudsætnng at hvs man skulle tage lere målnger, så vlle man ndstlle apparaturet mere og mere orrykt er nok en kende spekulatvt

14 44 Kaptel 0 Regressonsmodeller