Eksempel 10.1 En autoregressiv proces af orden 1 (ofte blot kaldet en AR(1)- proces) pårhar et opdateringsskema (10.1) med funktionen. for y R.

Transkript

1 Kapitel 0 Markovkæder Vi vil i det følgede studere processer Y 0, Y, Y 2,... med værdier irgivet på forme Y = f (Y +ǫ for =, 2,... (0. Her erǫ,ǫ 2,... e følge af iid støjvariable med middelværdi 0, alle uafhægige af Y 0, og f :R R er e kedt målelig fuktio. Vi omtaler (0. som et opdaterigsskema med additiv støj, og bemærker at de resulterede Y-proces bliver e homoge Markovkæde på R. Eksempel 0. E autoregressiv proces af orde (ofte blot kaldet e AR(- proces pårhar et opdaterigsskema (0. med fuktioe f (y=β y for y R. Kostate β kaldes processes multiplikator. AR(-processer har meget forskellig opførsel alt efter om β < (det statioære tilfælde, om β = (radom walk tilfældet eller om β > (det eksplosive tilfælde. Fordelige af Y-processe i (0. er bestemt af overgagsstrukture, det vil sige f og fordelige af fejlvariableeǫ i og af begydelsesfordelig, det vil sige fordelige af Y 0. Det ka hæde at der til overgagsstrukture hører et sadsylighedsmål π, der er ivariat uder (0.. Hvis Y 0 har fordeligπ, så vil også Y (og Y 2 og så videre 77

2 78 Kapitel 0. Markovkæder have margial fordelig π. Et sådat π kaldes e statioær begydelsesfordelig. Det viser sig som regel at hvis der eksisterer e statioær begydelsesfordelig, så vil Y-processe i (0. i det lage løb opføre sig som om Y 0 har dee fordelig, uaset hvad Y 0 s faktiske fordelig er. Derfor dukker de statioære begydelsesfordelig uvægerligt op i aalyse. E målelig fuktio V :R [0, der opfylder at V(x for x kaldes e driftfuktio for Y-processe (eller mere præcist: for overgagsstrukture hvis der fides kostater c (0, og c 2 > 0 såda at E V ( f (x+ǫ c V(x+c 2 for alle x R. (0.2 E driftfuktio bruges til at styre de overordede opførsel af processe. Eksempel 0.2 Lad Y 0, Y,... være e autoregressiv proces multiplikator β (,. Hvis fejlvariableeǫ i har k te momet, så opfylder processe kriteriet (0.2 med driftfuktioe V(x= x k. Hvis vi vælger c ( β k, ser vi emlig at lim sup x E V( f (x+ǫ x k lim sup x k j=0 ( k j β j x j k E ǫ k j = β k < c Der fides derfor e kostat R>0 såda at E V( f (x+ǫ c x k for x >R. Hvis vi sætter ser vi let at c 2 = k j=0 ( k j β j R j E ǫ k j E V( f (x+ǫ c 2 for x R, og derfor er (0.2 opfyldt.

3 79 Sætig 0.3 (Ergodesætige for Markovkæder Lad Y 0, Y,... være givet ved opdaterigsskemaet (0.. Atag at støjvariableeǫ i har e tæthed med hesy til Lebesguemålet m, der er kotiuert og overalt positiv. Atag edvidere at der fides e fuktio V, der opfylder driftkriteriet (0.2. Processe har e statioær begydelsesfordeligπ. 2 Der gælder at V erπ-itegrabel, og at g(y i for alle fuktioer g M(R der opfylder at g V. i=0 g(y dπ(y.s. (0.3 Vi udvider u problemstillige ved at forestille os at opdaterigsfuktioe f afhæger af e parameterβ R. På baggrud af observatio af Y 0, Y,...,Y øsker vi at drage iferes om β. Det typiske eksempel er studiet af AR(-processer med ukedt multiplikator β (,. Vi skriver opdaterigsskemaet som Y = f (Y,β+ǫ for =, 2,... og vi atager at f opfører sig passede pæt med hesy tilβ. Vi vil bruge kokordaskombiate h (X,β= ( Yi f (Y i,β 2. (0.4 2 Hvis støjvariablee er N(0, -fordelte er (0.4 idetisk med de betigede loglikelihoodfuktio givet Y 0, se eksempel.7. Hvis støjvariablee er ormalfordelte med ukedt varias, så er kombiate e mooto trasformatio af de betigede profilloglikelihoodfuktio forβ. Bemærk at ige egeskaber ved fejlfordelige idgår i kombiate. Det giver samme type problemer som i de ikke-lieære regressiosmodeller, hvor græsefordelige af M-estimatore potetielt vil ivolvere ukedte størrelser, og hvor der er betydelig risiko for et brud på regularitetsbetigelse D. Det ka ma forholde sig til at ved at udvide iteresseparametere, me vi skal se at ma ogle gage - f.eks. for AR(-processer - ikke ødvedigvis behøver at gøre de slags krumsprig. Vi ser at h (X,β= ( Yi f (Y i,β β (Y i,β, (0.5

4 80 Kapitel 0. Markovkæder og at h (X,β= ( 2 β (Y i,β ( Yi f (Y i,β 2 f β 2 (Y i,β. (0.6 Lad os udersøge om regularitetsbetigelse A ka opfyldes med e simpel - reskalerig. Første led i (0.6 er de kumulerede sum af e vis fuktio reget ud lags Markovkæde, og ka hådteres ved hjælp af et store tals lov argumet som i (0.3. Det adet led kræver lidt mere arbejde. Ma ka ofte få det til at gå mod ul ved at bruge martigalmetoder. Nogle gage ka ma geeralisere det bevis for store tals lov, der baserer sig på baglæs martigaler. Me i fredsommelige situatioer ka simple mometvurderiger være tilstrækkelige. I det følgede arbejder vi med filtrerige (F N givet ved Bemærk atǫ + er uafhægig aff. F =F(Y 0,ǫ,...,ǫ for =, 2,... Lemma 0.4 Lad Z, Z 2,... være e følge af stokastiske variable med 2. momet. Atag at Z erf -målelig for hvert. Hvis så vil Bevis: Vi ser at 2 E Z 2 i 0 for, (0.7 P ǫ i Z i 0. Eǫ i Z i = E E(ǫ i Z i F i =E (Z i E(ǫ i F i =E (Z i E(ǫ i =0. Tilsvarede ræsoemeter viser at Vi har derfor at E ǫ i Z i = Eǫ 2 i Z 2 i = Eǫ 2 E Z2 i, Cov(ǫ i Z i,ǫ j Z j =0 for i j. Eǫ i Z i = 0, V ǫ i Z i = 2 Eǫ 2 E Z2 i. Variase går mod ul ifølge (0.7, så de øskede koverges følger af Chebyshevs ulighed.

5 8 Lemma 0.5 Lad Y 0, Y,... være givet ved opdaterigsskemaet (0.. Atag at støjvariableeǫ i har 2. momet og at de har e tæthed med hesy til Lebesguemålet m, der er kotiuert og overalt positiv. Atag at der fides e fuktio V, der opfylder driftkriteriet (0.2, og så og atag at der fides e kostat K så ( 2 β (y,β V(y for alle y R, (0.8 2 f β 2 (y,β K for alle y R. (0.9 Så gælder der at ( 2 h (X,β P β (y,β dπ(y. Bevis: Ud over at påkalde os ergodesætige for Markovkæder skal vi blot idse at ( Yi f (Y i,β 2 f β 2 (Y i,β= ǫ i 2 f β 2 (Y i,β P 0, me det følger af lemma 0.4 fordi (0.9 til overmål sikrer at de relevate versio af (0.7 er opfyldt. Koklusioe i lemma 0.5 er aturligvis at regularitetsbetigelse A er opfyldt med -reskalerig. For et AR(-skema ses (0.8 at være opfyldt årǫ ere har 2. momet, mes (0.9 er trivielt opfyldt. For at vise regularitetsbetigelse B skal ma i almidelighed i gag med uiforme variater af store tals lov for Markovkæder. Det er ikke emt stof, og vi vil ikke tage fat på det her. Me vi ka bemærke at betigelse B kollapser for et autoregressivt skema: hvis f (y=β y, så er h (X,β= Y 2 i for alleβ. Vi har tidligere (typisk i forbidelse med ekspoetielle familier stået i de situatio at betigelse B var relativt simpel, fordi h viste sig at være determiistisk. Her står vi i de modsatte situatio, hvor h er ret stokastisk, og slet ikke varierer med parametere. Supremet i betigelse B bliver taget over e masse størrelser, der alle er ul.

6 82 Kapitel 0. Markovkæder Lad os edelig se på regularitetsbetigelse C. Vi har at Vi ser let at variablee h (X,β = X i = ǫ i β (Y i,β ǫ i β (Y i,β =, 2,...,,...,, udgør et martigale differece array med hesy til filtrerige (F. De rækkevise kompesatorer er E ( X i 2 F i = ( 2 β (Y i,β Eǫi 2 2 Eǫ ( 2 β (y,β dπ(y uder betigelse (0.8. Tilsvarede ka vi rege på de betigede Lyapouov betigelse: E ( X i 3 F m = 3/2 β (Y i,β 3 E ǫ i 3 Hvis vi styrker (0.8 til ( 3 β (y,β V(y for alle y R, (0.0 ser vi at og derfor vil ( 3 ( 3 β (Y i,β β (y,β dπ(y E ( X i 3 F i 0 Fra de cetrale græseværdisætig for martigale differece arrays ka vi derfor kokludere at ( 2 h (X,β N D 0, Eǫ 2 β (y,β dπ(y. Det vil sige at regularitetsbetigelse C er opfyldt. Som vetet må vi til gegæld skyde e hvid pid efter regularitetsbetigelse D, medmidre støjvariablee har varias. Vi opsummerer ved at sætte id i sætig 5.7:.s.

7 83 Sætig 0.6 Lad Y 0, Y,... være givet ved opdaterigsskemaet (0.. Atag at støjvariableeǫ i har 3. momet og at de har e tæthed med hesy til Lebesguemålet m, der er kotiuert og overalt positiv. Atag at der fides e fuktio V, der opfylder driftkriteriet (0.2, og så ( 3 β (y,β V(y for alle y R, (0. og atag at der fides e kostat K så 2 f β K for alle y R. (0.2 Hvis regularitetsbetigelse B også er opfyldt, så vil M-estimatore ˆβ være kosistet og opfylde at (ˆβ β D N 0, Eǫ 2 ( β (y,β (0.3 2 dπ(y Ma ka idvede at græsevariase i 0.3 ser lidt ubehagelig ud. Hvis resultatet skal kue bruges til oget, for eksempel til Wald test, så skal ma kue rege græsevariase ud for hver potetielβ -værdi. Me græsevariase ivolverer dels støjvariase Eǫ 2 og - edu værre - etπ-itegral. De ivariate fordelig afhæger afβ, skøt det ikke afspejles i otatioe, og vi har slet ikke oge eksplicit repræsetatio afπ. Me i visse lykkelige tilfælde ka ma faktisk rege græsevariase ud alligevel, ved at støtte sig til geerel Markovkædeteori. Lad os fokusere på AR(-tilfældet, hvor β (y,β=y. Bemærk at græsevariase ikke afhæger af Y 0 s fordelig. Hvis det hjælper os, ka vi lade som om Y 0 har e bestemt fordelig mes vi forsøger at rege os frem til græsevariase. Hvis vi kommer frem til et svar, så vil det også gælde for de rigtige Y-proces. Lad os derfor atage at Y 0 har de statioære begydelsesfordeligπ. Da har også Y fordeligπ, og daπhar 2. momet er E Y 2 = E (β Y 0 +ǫ 2 =β 2 E Y β E(Y 0 ǫ +Eǫ 2 =β 2 E Y Eǫ 2 Da Y 0 og Y har samme margiale fordelig, og dermed samme 2. momet, kokluderer vi at ( β 2 E Y 0 2 = Eǫ 2.

8 84 Kapitel 0. Markovkæder I AR(-tilfældet gælder der altså at Sætter vi dette udtryk id i (0.3 får vi ( 2 β (y,β dπ(y= Eǫ 2 β 2. (ˆβ β D N ( 0, β 2 (0.4 Vi ser at græsevariase i virkelighede ikke afhæger af adet ed det sade β! Det betyder at vi smertefrit ka kostruere kofidesområder for β, og teste e hypotese om atβhar e på forhåd givet værdiβ 0. Vi er stadig ikke i stad til at lave test baseret på deviacestørrelse, for regularitetsbetigelse D er ikke opfyldt. Me Wald test er tilgægelige. Ma ka hævde at det er overdrevet besværligt at geemføre aalyse af AR(- processer ved hjælp af de geerelle teori. Vi ser at h (X,β= (Y i βy i 2 = 2 2 Y 2 i 2β Y i Y i +β 2 Yi 2 der let ka miimeres eksplicit, emlig ved ˆβ = Y i Y i Yi 2. (0.5 Det er ikke vaskeligt at udlede (0.4 af dee eksplicitte formel ved hjælp af store tals lov for Markovkæder og de cetrale græseværdisætig for martigale differece arrays. Så i et vist omfag har vi gjort livet vaskeligt for os selv ved partout at ville hevise til regularitetsbetigelsere. Me miraklet, der leder fra (0.3 til (0.4 idtræffer faktisk også i adre situatioer, hvor ma ikke er så priviligeret at have e eksplicit formel for ˆβ. Ma ka f.eks. se at støjvariase altid vil forkorte ud i græsevariase, fordi e skalaparameter på støje bliver oversat til e skalaparameter forπ. Vi kue have geemført mage af oveståede regiger for opdaterigsskemaer af forme (0. pår k fremfor pår, og der er heller ikke oget i veje for at have flerdimesioale β er. Det svulmer op otatiosmæssigt, me essetielt har vi redskabere til at hådtere disse vaskeligheder. Autoregressive skemaer af højere orde, f.eks. Y =β Y +β 2 Y 2 +ǫ for =2, 3,...

9 85 ka stables som i ( Y Y = ( β β 2 0 ( Y Y 2 ( ǫ + 0 så ka de aalyseres som AR(-skemaer i rum af højere dimesio med degeererede fejlfordeliger. Vi ka således udvikle e asymptotisk iferesteori for ret geerelle autoregressive processer. Hvad vi til gegæld ikke rigtig ka, er at udvide parametermægde i de simple AR(-proces fraβ (, til oget større. Hvis de sadeβ-værdi ligger ude for dette iterval, så vil driftkriteriet ikke være opfyldt, og vi har ige store tals lov til rådighed. Det viser sig da også at de eksplicitte estimator (0.5 opfører sig helt aderledes i disse tilfælde. Hvis β = ka ma faktisk få e svag koverges frem, me det vil ikke være mod e ormalfordelig - græsefordelige kaldes e Dicky-Fuller fordelig, og udledes emmest i e ramme af stokastiske itegraler. Hvis β > er der derimod igetig at gøre.