Det asymptotiske scenarie

Transkript

1 Kapitel 1 Det asymptotiske scenarie Den simpleste asymptotiske situation opstår hvis man har uafhængige, identisk fordelte variable Y 1,...,Y n med værdier i et målbart rum (Y,K). Man forestiller sig at fordelingen af Y erne afhænger af en parameterθ Θ, og man forestiller sig at størrelsen af eksperimentet, givet ved antallet af deleksperimenter n, principielt er under eksperimentatorens kontrol - forstået på den måde at han kan vælge at tilføje deleksperimenter, hvis han ikke synes at han har nok allerede. Frekvensfortolkningen af sandsynlighedsregningen giver at man på baggrund af disse gentagelser af det samme deleksperiment efterhånden bliver i stand til at identificere den bagvedliggende fordeling af Y erne ganske godt. Den praktiske måde at sige det på, er at man bliver bedre og bedre til at lokalisere det sande θ når n vokser. Målet for den asymptotiske analyse er at give en præcis beskrivelse af hvor meget bedre man bliver. Typisk foregår analysen ved at vi sammenbundter de første n variable, og ser på X n = (Y 1,...,Y n ), der har værdier i rummet (Y n,k n ). Hvis de enkelte Y er har fordelingλ θ, så har sammenbundtningen fordelingν n θ =λ θ n. Når man har sat denne ramme op, forstår man øjeblikkeligt at den er alt for restriktiv til at beskrive den virkelige verdens eksperimenter. Ethvert eksperiment, man kan finde på at underkaste en statistisk analyse, har et vist element af gentagelse i sig, og det er derfor altid naturligt at betragte det som opbygget af et (stort) antal deleksperimenter. Men meget ofte har deleksperimenterne forskellig fordeling. Eksperimentet 1

2 2 Kapitel 1. Det asymptotiske scenarie kan f.eks. handle om overlevelsestid fra hjertetransplantation til død - i så fald vil der nok være en ret markant forskel på de 40-årige patienter og de 80-årige. Der optræder næsten altid kovariater, størrelser der varierer mellem de forskellige deleksperimenter, og den statistiske analyses mål er netop at beskrive effekten af disse kovariater. Og det svarer i ovenstående tankegang til at vi må tillade at Y erne har forskellig fordeling. I visse tilfælde må man endda medgive at Y erne er så forskellige at de har værdier i hver deres rum. Man kan f.eks. forestille sig at Y n har værdier i (Y n,k m ), og at Y n s fordeling erλ n θ. I så fald har sammenbundtningen X n værdier i (Y 1... Y n,k 1... K n ), og den har fordelingν n θ =λ1 θ... λn θ. I andre sammenhænge er afvigelsen fra den primitive model med uafhængige, identisk fordelte gentagelser at deleksperimenterne er afhængige. Det kan f.eks. være det samme system man har målt på hen over tid. I så fald vil man ofte observere at målinger, der ligger tæt på hinanden i tid kun afviger lidt fra hinanden, mens målinger, der er taget med lang tids mellemrum afviger mere. Hvis man f.eks. måler luftens indhold af svovlpartikler, vil målingerne ikke variere meget fra sekund til sekund, mens de kan gå temmelig meget op og ned i løbet af et døgn - for ikke at tale om en måned. Et typisk eksempel kunne være et autoregressivt skema Y n+1 =µ+ρ(y n µ)+ǫ n+1 for n=0, 1, 2,..., hvor ǫ erne er uobserverede støjvariable, der er uafhængige og identisk fordelte, f.eks. normalfordelte med middelværdi 0 og ukendt variansσ 2. Her erµdet niveau som målingerne svinger omkring, og ρ er en størrelse der bestemmer hvor hurtigt målingerne er i stand til at ændre sig - man ser at Cov(Y n, Y n+1 )=ρ VY n, og målingerne er således ikke uafhængige medmindre ρ = 0. For at kunne give en generel diskussion af disse udvidelser af modellen med uafhængige, identisk fordelte gentagelser, fjerner vi helt de enkelte delekserimenter fra beskrivelsen. Vi vil helt generelt diskutere en følge af stokastiske variable X 1, X 2,..., defineret på det samme baggrundsrum (Ω,F) men med værdier i hver sit rum (X n,e n ). Det, der binder variablene sammen, er en fælles statistisk model (P θ ) θ Θ på baggrundsrummet. I praksis tænker vi påx n som et produktrum, og X n som en sammenbundtning af n deleksperimenter, men vi lader ikke denne produktstruktur optræde i formalismen. Vi forestiller os at vi observerer realisationer x 1 X 1, x 2 X 2,... af disse variable. De er trukket med det samme sandeθ, som vi i det følgende refererer til som θ, og vi forsøger på baggrund af disse observationer at drage inferens omθ. I de

3 3 X n (Ω,F) (X n,e n ) P θ X n+1 θ (X n+1,e n+1 ) Θ Figur 1.1: En grafisk fremstilling af det asymptotiske scenarie, med en følge af modeller, alle indiceret ved den samme paramtermængdeθ. Typisk er hvertx n et produktrum med n identiske kopier af et elementært rumy, og typisk er X n en sammenbundtning af n variable med værdier iy. fleste realistiske situationer er der en projektiv struktur, en samling afbildninger π n :X n X n 1 sådan at π n (X n )=X n 1 for alle n. Denne projektive struktur fremkommer typisk fordi X n er en sammenbundtning af flere deleksperimenter end X n 1, og man kan finde X n 1 ved simpelthen at slette de relevante deleksperimenter fra X n. Hvis der er en sådan projektiv struktur, så er der i virkeligheden kun én trækning involveret i sekvensen X 1, X 2,... Men vi stiller ikke noget formelt krav om at variablene er forbundet på denne måde. Det står os f.eks. frit for at forestille os at vi efter at have observeret X n kasserer alle de deleksperimenter der indgår, og lader X n+1 bestå af en sammenbundtning af n+1 nye deleksperimenter. Det lyder som en meget uøkonomisk - og for så vidt umoralsk - omgang med data, men formalismen protesterer ikke. Vi forsøger at drage inferens om det bagvedliggendeθ på baggrund af hver enkelt observation x 1, x 2,... Det kan f.eks. føre til en følge af estimater ˆθ 1, ˆθ 2,... Og vores opgave er dels at beskrive i hvilken forstand disse estimater bliver bedre og bedre,

4 4 Kapitel 1. Det asymptotiske scenarie og dels at pege på estimationsprincipper der sikrer omsætningen fra observation til viden om parameteren sker så effektivt som muligt. 1.1 Interesseparameteren Vi har hidtil ikke sagt noget om parametermængdenθ - og faktisk vil vi gerne undgå at sige noget, der kan lægge restriktioner på hvilke parametermængder, der kan bruges. Vi er fuldt ud rede til at acceptere atθer et uendeligdimensionalt funktionsrum, f.eks. Pointen er nemlig at vi ikke interesserer os særlig meget forθisig selv. Vi forestiller os derimod at vi har en parameterfunktion ψ :Θ R d, og vores egentlige mål at at drage inferens om den sandeψ-værdi, altsåψ =ψ(θ ). Der er et vist misbrug af notation involveret i denne formulering, fordi vi bruger bogstavetψ til både at betegne en afbildning, og til at betegne afbildningens værdier, men det vænner man sig hurtigt til. Når vi skriverψ, skal det sædvanligvis forstås som ψ(θ) for et eller andetθ. Eksempel 1.1 For en fuldt parametrisk model, altså en model hvorθ R d for et passende d, vil man som regel interessere sig for den fulde parameter, dvs. for parameterfunktionenψ:r d R d givet vedψ(θ)=θ. I denne sammenhæng erψ blot et forstyrrende formalistisk lag oven på det egentlige problem. Men man kan også forestille sig situationer hvorθ=θ 1 Θ 2, hvor hvertθ Θ altså kan skrivesθ=(α,β). I sådan et tilfælde kan interessen meget vel være rettet mod α, mens β betragtes som en nuissanceparameter. Det bygges ind i formalismen ved hjælp af parameterfunktionen ψ(α, β) = α. Et oplagt eksempel hvor den fulde parameter må deles op i en interesseparameter og en nuissanceparameter er sædvanlig lineær regression, Y i =α+β t i +ǫ i for i=1,...,n, hvorǫ erne er uafhængigen(0,σ 2 )-fordelte variable. Den fulde parameter er her triplet (α,β,σ 2 ), men typisk skænker man ikkeσ 2 megen opmærksomhed - hele interessen rettes mod middelværdiparametreneα ogβ.

5 1.1. Interesseparameteren 5 Eksempel 1.2 I overlevelsesanalyse, hvor målingerne per definition er positive, modellerer man ofte den såkaldte hazardrate. Det er en funktionλ:(0, ) (0, ), der ikke er Lebesgue integrabel. Den bestemmer en fordelingsfunktion ved formlen ( x ) F(x)=1 exp λ(u) du Man kan fortolke hazardrate på den måde atλ(x) x approksimativt er sandsynligheden for at patienten dør i tidsintervallet (x, x + x), betinget med at patienten ikke er død til tid x. Approksimationen er god, hvis x er lille. Der er to grunde til at man studerer overlevelse via hazardrate. Den ene er intuitiv - det svarer faktisk meget godt til hvordan vi tænker på risiko. Den anden er teknisk: overlevelseseksperimenter er altid fulde af censureringer, fordi man ikke kan vente med at analysere sine data indtil alle patienterne er døde. Og det er ikke så nemt at inkorporere censureringerne i en klassisk modelopbygning, baseret på tætheder. Hvorimod censureringer og hazardrate spiller meget fint sammen. Meget ofte har man overlevelsesmålinger Y 1, Y 2,...,Y n (nogle af dem eventuelt censurerede) med hver sin kovariat, t 1, t 2,...,t n, og målet vil da som regel være at beskrive hvordan kovariaterne påvirker overlevelsen. Man anvender da gerne en semiparametrisk model, hvor observationerne antages at være uafhængige med hver sin hazardrate, men hvor de forskellige hazardrates er knyttet sammen ved betingelsen 0 λ i (x)=e α t i λ 0 (x) for x>0, i=1,...,n. (1.1) Den såkaldte baseline hazardλ 0 er fælles for alle observationerne, men antages iøvrigt at være helt ukendt. Fordelingen er således parametriseret ved (α,λ 0 ), hvor første komponenten er et reelt tal, mens anden komponenten er en næsten vilkårlig funktion (0, ) (0, ). Man refererer gerne til (1.1) som antagelsen om proportionale hazardfunktioner, og det er naturligvis en kritisk antagelse, på samme måde som linearitetsantagelsen i lineær regression kan lede til fuldstændig absurde resultater hvis den er forkert. Men hvis antagelsen om proportionale hazardfunktioner er rigtig, så er al information om kovariaternes indflydelse placeret i parameteren α, og man kan derfor principielt forsøge at besvare undersøgelsens hovedspørgsmål uden at interessere sig for baselinehazard. I praksis bliver man selvfølgelig nødt til også at estimereλ 0, men man behøver måske ikke at gå særlig meget op i kvaliteten af dette estimat.

6 6 Kapitel 1. Det asymptotiske scenarie Som sagt gør vi en dyd af ikke at lægge begrænsninger på parametermængdenθ overhovedet. Det kan vi slippe afsted med, så længe vi ikke forsøger at drage inferens omθ. Til gengæld er vi nødt til at lægge visse antagelser på deψ-værdier, der kan optræde i analysen. Teknisk grundantagelse: BilledmængdenΨ=ψ(Θ) er en åben delmængde afr d. Overtrædelse af denne grundantagelse kan man ofte formulere sig ud af. Problemet kan være at ψ(θ) ikke har indre punkter, fordi mængden er for lavdimensional. Man kan f.eks. forestille sig at ψ(θ) er en kurve i planen, et essentielt etdimensionalt objekt, der selvfølgelig ikke kan være en åben delmængde afr 2. Hvis dette problem er opstået, et det fordi man har valgt et forkert euklidisk rum til sin analyse. Man kan som regel finde en afbildningρ:r d R d 1 ned i en lavere dimension, såρer injektiv påψ(θ), og såρψ(θ) er åben ir d 1. I så fald erstatter man blot den oprindelige parameterfunktion ψ med den modificerede parameterfunktion ρ ψ som udgangspunkt for analysen. Hvis man går til tekniske yderligheder, er den essentielle antagelse for så vidt ikke atψ(θ) skal være en åben delmængde af et euklidisk rum, men at det skal være en C 2 -mangfoldighed med en veldefineret dimension d 1. En kurve er en etdimensional mangfoldighed, hvad enten den ligger i planen eller i rummet. Et eksempel på en todimensional mangfoldighed er f.eks. kugleoverfladen S 2 inde ir 3 - denne mængde kan man ikke afbilde ned ir 2 på en injektiv måde, så hvis man vil se på det som en åben delmængde afr 2, må man fjerne mindst ét punkt. Mangfoldigheder er uhyre naturlige objekter ud fra et geometrisk synspunkt, men der er ikke tradition for at bruge dem som parametermængder i statistiske modeller - skønt der i visse sammenhænge kunne være betragtelige fordele ved det. I nogle modeller optræder der en mere ondartet overtrædelse af betingelsen om at ψ(θ) skal være åben. Det kan hænde atψ(θ) nok har masser af indre punkter (så dimensionen er rigtig), men også har randpunkter. Med lidt held kan man gøreθlidt mindre, og på den måde fjerne problemet. Analysen indskrænker sig alligevel til at komme med lokale udsagn om den sande parameter, og så længe vi ikke fjerner den sande parameter fraθ, så går det nok endda. Men i andre tilfælde er disse randpunkter en essentiel del af problemet, og kan ikke fjernes ved kosmetiske operationer.

7 1.2. Konkordanskombinant 7 Eksempel 1.3 Betragt en etsidet variansanalyse med tilfældige virkninger, altså en model af formen Y i j =α+z i +ǫ i j hvor i=1,...,n, j=1,...,m i. Her er Z erne uafhængigen(0,ν 2 )-fordelte, mensǫ erne er uafhængigen(0,σ 2 )- fordelte. Naturligvis er Z erne og ǫ erne også uafhængige af hinanden. Modellen finder anvendelse hvor man måler det samme på en række forsøgspersoner, og hvor man har gentagne målinger for i hvert fald nogle af disse personer. Grundniveauet for den i te person er størrelsenα+z i, og det modificeres så i de enkelte målinger med en støjvariabelǫ i j. Typisk vil man forestille sig at den såkaldte intersubjekt variabilitetν 2 (altså variationen mellem personerne) er væsentligt større end intrasubjekt variabilitetenσ 2 (altså variationen blandt målingerne for én og samme person). Den fulde parameter er i denne situation (α,ν 2,σ 2 ), hvorα R,ν 2 0 ogσ 2 > 0. Hvor man uden at blinke antager atσ 2 er strengt positiv, svarende til at der altid er en vis målestøj, så er en tilsvarende antagelse omν 2 ikke så indlysende. Faktisk retter der sig en speciel interesse mod tilfældetν 2 = 0, fordi det svarer til at der ikke er nogen personeffekt i målingerne. Så her er et tilfælde hvor parametermængden helt naturligt har randpunkter. Problemet spiller en vis rolle i praksis, fordi det naturlige kvotienttest for en hypotese om atν 2 = 0 ikke er asymptotiskχ 2 -fordelt med 1 frihedsgrader under hypotesen, sådan som man man plejer at se det, når man fjerner en étdimensional parameter. Fordelingen ligner nærmere en konveks kombination af enχ 2 -fordeling med 1 frihedsgrad og en etpunktsfordeling i 0. Test for om tilfældige virkninger kan fjernes fra en model volder generelt problemer for den asymptotiske teori. Denne type problemer vil ikke blive behandlet i disse noter. 1.2 Konkordanskombinant Til at vurdere samspillet mellem en observation x X n og enψ-værdi har vi en konkordanskombinant h n :X n Ψ R.

8 8 Kapitel 1. Det asymptotiske scenarie Der er ikke noget formelt krav om at disse konkordanskombinanter for forskellige n-værdier hænger sammen, men vi insisterer dog på at der findes en samlende fortolkning af dem. Typisk vil uligheden h n (x,ψ 1 )<h n (x,ψ 2 ) fortolkes på den måde atψ 1 er i bedre konkordans med observationen x endψ 2. Eksempel 1.4 Lad Y 1, Y 2,... være uafhængige, identisk fordelte stokastiske variable med værdier i (Y,K). Antag at P θ (Y i A)= f θ dµ, for et passendeσ-endeligt grundmålµ, og en passende familie af tætheder ( f θ ) θ Θ. Antag at parametermængdenθer en åben delmængde afr d, og lad os interessere os for den fulde parameter, altså for parameterfunktionenψ : R d R d givet ved ψ(θ) = θ. I det asymptotiske scenarie betragter vi sammenbundtningen X n = (Y 1,...,Y n ) med værdier i (X n,e n )=(Y n,k n ). Typiske konkordansfunktioner er likelihoodfunktionen n L y1,...,y n (θ)= f θ (y i ), og loglikelihoodfunktionen l y1,...,y n (θ)= A i=1 n log f θ (y i ). der naturligvis har modsatrettede fortolkninger, men indeholder samme information. Man kan opstille en likelihoodfunktion og en loglikelihoodfunktion i mange, mange andre modeller end i modeller for uafhængige, identisk fordelte observationer, og det er en generel anbefaling at man bruger en af disse funktioner som konkordanskombinant så ofte man kan slippe afsted med det. Men der findes modeller, hvor likelihoodtilgangen ikke er farbar. For nogle modeller findes der slet ikke nogen likelihoodfunktion. Det er typisk situationen for ikke-parametriske eller semiparametriske modeller. For andre af disse funktionsrumsmodeller findes likelihoodfunktionen måske nok i abstrakt forstand, men den bliver aldeles uhåndterlig fordi parametermængden er uendeligdimensional. i=1

9 1.2. Konkordanskombinant 9 En beslægtet problemstilling er at man i mange tilfælde ikke er indstillet på at modellere alle aspekter af det udførte forsøg. I overlevelsesforsøg som i eksempel 1.2 har man typisk ikke mod på at modellere censurmekanismerne, og man er derfor principielt ude af stand til at opstille en likelihoodfunktion. Men der kan også være problemer for endeligdimensionale modeller, hvor alt i princippet er modelleret. Man kan komme ud for at likelihoodfunktionen måske nok findes, men ikke kan skrives ned på nogen brugbar måde. Dette fænomen optræder f.eks. i modeller for stokastiske differentialligninger, hvor parametrene bestemmer hvordan en stokastiske proces udvikler sig over infinitesimale tidsrum, men hvor observationerne er gjort med ikke-infinitesimale mellemrum, f.eks. til tid 1, 2,... I en abstrakt forstand bestemmer parametrene hvordan processen bevæger sig i disse store tidsintervaller, men ikke på nogen eksplicit måde - man skal så at sige integrere den infinitesimale opførsel, og det kan være umuligt at gøre med konkrete formler. En anden situation, hvor likelihoodfunktionerne ofte ikke har noget brugbart konkret udtryk, finder man i modeller med skjulte variable. Vi en sådan model i eksempel 1.3. Mere generelt kan man f.eks. have uobserverede variable Z 1,...,Z k med simultan tæthed g θ (z 1,...,z k ) og observerede variable Y 1,...,Y n, hvor den betingede fordeling af (Y 1,...,Y n ) givet (Z 1,...,Z k ) er kendt - den kan have tæthed h θ (y 1,...,y n z 1,...,z k ). Likelihoodfunktionen for observationerne kan da i princippet skrives ned som et integral, L y1,...,y n (θ)= h θ (y 1,...,y n z 1,...,z k ) g θ (z 1,...,z k ) d(z 1,...,z k ), (1.2) men denne repræsentation er næppe særlig nyttig, medmindre man kan regne integralet ud. Skjulte variable er et meget udbredt fænomen i de mere avancerede statistiske modeller, hvor de kan forklæde sig under navne som random effects, frailty, state space variable og hierarkisk strukturerede modeller. Der bliver brugt mange kræfter i den videnskabelige litteratur på at forsøge at udnytte (1.2), også i situationer hvor man ikke eksplicit kan udregne integralet, men de anvendte teknikker er typisk meget modelspecifikke - man kan anvende saddelpunktsapproksimationer for integralet, man kan simulere sig frem til integralet ved hjælp af Monte Carlo teknikker, eller man kan forsøge at arbejde med integralet uevalueret gennem EM-teknikker. Men i mange situationer kan man også med succes vælge sig en anden konkordanskombinant, som måske ikke er teoretisk optimal, men som til gengæld leder til mere håndterlig matematik.

10 10 Kapitel 1. Det asymptotiske scenarie Endelig skal man også holde sig for øje at likelihoodfunktionen for nogle modeller for så vidt godt kan skrives eksplicit op, men at det kan volde praktiske problemer ar arbejde med den - f.eks. at få den maksimeret. Computere bliver større og kraftigere, og den numeriske analyse gør store fremskridt. Men det er stadig væk et problem at maksimere en funktion af 100 variable, især hvis den har en skov af lokale maksima. Samtidigt med at computerne bliver større er der en tilbøjelighed til at de anvendte modeller bliver større - måske vokser modellerne endda hurtigere end regnekraften. Og eftersom de ægte likelihoodfunktioner ofte er ganske irregulære med mange lokale ekstrema, kan der være store gevinster i at erstatte den ægte likelihoodfunktion med en regulariseret approksimation. Denne approksimation har næppe helt samme maksimum, men til gengæld undgår den måske hele floraen af lokale ekstrema. Eksempel 1.5 Hvis vi har uafhængige og identisk fordelte reelle observationer Y 1, Y 2,..., hver især med tæthed f θ, hvorθ Θ for en passende parametermængde Θ, så vil den primære interesse i mange situationer rette sig mod en reel parameterfunktion ψ : Θ R. En forholdsvis naturlig konkordanskombinant kan da være profillikelihoodfunktionen L y1,...,y n (ψ)= sup L y1,...,y n (θ), θ:ψ(θ)=ψ eller eventuelt den tilsvarende profilloglikelihoodfunktion. Man skal dog være opmærksom på at denne ide ofte fungerer bedre i teorien end i praksis, simpelthen fordi profillikelihoodfunktionen kan være uhyre vanskelig at finde eksplicit, og derfor kan den være svær at arbejde med. Eksempel 1.6 Hvis vi har uafhængige og identisk fordelte reelle observationer Y 1, Y 2,..., hver især med tæthed f θ, hvorθ=(θ 1,θ 2 ) Θ 1 Θ 2 for passendeθ 1 R d 1 ogθ 2 R d 2, og hvor interessen retter sig modψ(θ 1,θ 2 )=θ 1, så kan man konstruere en profillikelihoodfunktion som ovenfor ved for fastθ 1 at maksimere overθ 2. Men i nogle tilfælde vælger man i stedet at integrereθ 2 væk. Man konstruerer den såkaldte REML-likelihood (det står for REduced eller REstricted eller REsidual likelihood ved L y1,...,y n (θ 1 )= L y1,...,y n (θ 1,θ 2 ) dθ 2 for alleθ 1 Θ 1. Det er ikke så nemt at komme med intuitive ræsonementer for hvorfor REMLlikelihoodfunktione skulle være at foretrække frem for profillikelihoodfunktionen. Men undersøger man de tilhørende maksimaliseringsestimatorer vil man se at estimatoren baseret på REML-likelihoodfunktionen i visse tilfælde har mindre bias end

11 1.2. Konkordanskombinant 11 estimatoren baseret på profillikelihoodfunktionen. Det gælder specielt i varianskomponentmodeller, og i disse modeller er der udbredt enighed om at REML-estimation er det rigtige. Man skal dog være opmærksom på at REML-kriteriet har sine problematiske sider - det er f.eks. kraftigt afhængigt af den valgte paramterisering. Eksempel 1.7 Det er jævnligt forekommende at man har observationer Z, Y 1, Y 2,..., sådan at Y 1, Y 1,... er uafhængige og identiske fordelte betinget med Z. Hvis Z har tæthed z h θ (z) med hensyn til et grundmålµ, og hvis den betingede fordeling af Y i givet Z= z har tæthed y f θ (z, y), så er den fulde likelihoodfunktion for Z og de første Y er givet ved n L z,y1,...,y n (θ)=h θ (z) f θ (z, y i ). Hvis den funktionelle form af h er svært tilgængelig, eller hvis h afhænger af en del afθsom der kun er ringe information om i Y erne, så erstatter man ofte den fulde likelihoodfunktion med den betingede likelihoodfunktion i=1 Ľ z,y1,...,y n (θ)= n f θ (z, y i ). i=1 Der er en række andre situationer hvor betingede likelihoodfunktioner føles naturligere end fulde likelihoodfunktioner. Det gælder f.eks. ved analyse af Markov kæder, hvor man gerne betinger med værdien af den første observation. I denne situation vil den fulde likelihoodfunktion afhænge af den såkaldte begyndelsesfordeling. Men det er kun den første observationer, der indeholder nogen som helst information om denne begyndelesesfordeling. Fremfor at forsøge at forholde sig til begyndelsesfordelingen på et så tyndt datagrundlag, vælger man som regel at betinge problemet bort. Eksempel 1.8 Antag at Y 1, Y 2,... er reelle stokastiske variable, og at Y i = d a i j θ j +ǫ i j=1 for i=1,...,n, hvor a i j erne er kendte tal (kovariater), hvorθ 1,...,θ d er reelle parametre og hvor

12 12 Kapitel 1. Det asymptotiske scenarie ǫ i erne er reelle stokastiske variable med middelværdi 0. På vektorform kan vi skrive Y 1 a 11 a a 1d θ 1 ǫ 1 Y 2 a 21 a a 2d θ 2 ǫ 2 = Y n a n1 a n2... a nd θ d ǫ n Vi kan også vælge at udtrykke modellen på matrixform, X n = A n θ+ ǫ n, hvor X n er sammenbundtningen af de første n Y er, hvor A n er en n d matrix, der vokser med n ved at få tilføjet nye rækker, og hvor ǫ n er sammenbundtningen af de første nǫ er. Den fundamentale antagelse her er atθ=(θ 1,...,θ d ) ikke indgår i fordelingen af ǫ erne. Måske angiver vi en parametrisk model for fordelingen af ǫ erne, måske nøjes vi med en ikke-parametrisk specifikation. Vi skal blot have en måde at tale om fordelingen af samtlige sammenbundtede fejlvariable ǫ n på én gang. Lad os sige at det sker gennem parameteren ν, der kan antage værdier i en endeligdimensional mængde eller en uendeligdimensional mængde, som det nu må falde sig. Vi har altså en fuld parameter af formen (θ, ν). Pointen er at vi opfatter θ som interesseparameteren og ν som en nuissanceparameter. Bemærk at vi ikke har antaget at ǫ erne er uafhængige. Man kan sagtens forestille sig atǫ erne udgør en AR(1)-proces, ǫ n+1 =ρǫ n + W n+1 for n=1, 2,..., hvor W erne er uafhængige og identisk fordelte. Hvis vi antager at hvert W er N(0,β 2 )-fordelt, så erνidenne situation en sammenbundtning afρogβ 2 plus e- ventuelt en ekstra parameter, der bestemmer fordelingen afǫ 1. Vi har principielt heller ikke antaget atǫ erne er identisk fordelte. Der kan være mange grunde til at antage at støjen ændrer størrelse fra eksperiment til eksperiment, blot må man ikke henvise til den gængse intuition om at støjen er stor for store målinger. Denne forklaring bruges ellers implicit i mange teknologiske sammenhænge, hvor præcisionen af måleinstrumenter typisk opgives som et antal procent af den målte værdi. Hvis denne tankegang er relevant, så kan man ikke separere den fulde parameter i en del θ, der beskriver middelværdistrukturen, og en anden del ν, der beskriver fejlstrukturen - der vil være de samme parametre, der indgår begge steder.

13 1.2. Konkordanskombinant 13 En least squares kombinant er en kombinant af formen h n (y 1,...,y n,θ)= x n A n θ 2, hvor er en norm pår n, og hvor x n = (y 1,...,y n ). Det underforstås at kombinanten skal fortolkes sådan at små værdier er gode. Hvis man bruger den sædvanlige euklidiske norm taler man om en ordinary least squares (OLS) kombinant, bruger man andre normer taler man om en weighted least squares (WLS) kombinant. OLS kombinanten er især velegnet hvis ǫ erne er uafhængige og identisk fordelte - den er i særedelshed velegnet, hvis ǫ erne yderligere vides at være normalfordelte, men den kan med en vis succes bruges under mange andre antagelser om støjfordelingen, f.eks. t-fordelteǫ er. Hvis ǫ erne er uafhængige men ikke identisk fordelte, bruger man gerne WLS kombinanter dannet ud fra normer af formen x 2 = x T Bx, (1.3) hvor B er en diagonalmatrix med positive diagonalelementer. Diagonalelementernes variation skal i så fald udtrykke forskellen i størrelse af de enkelte ǫ er. Hvis ǫ erne er afhængige, kan man forsøge at bruge en WLS kombinant dannet udfra normen (1.3) med en mere indviklet symmetrisk, positivt definit matrix B. Man forsøger gerne at bruge en matrix der er proportional med den inverse variansmatrix for ǫ n hvis man kan komme af sted med det. Men generelt må man sige at det er et vanskeligt problem at finde en god WLS kombinant uden en uafhængighedsantagelse. Og derfor bruger man faktisk ofte OLS kombinanten, selv for afhængige støjvariable. Et robust alternativ til least squares kombinanterne, altså en kombinant der giver mindre vægt til de ekstreme observationer (og derfor ikke er helt så sårbart overfor regulære fejlobservationer) erl 1 -afstanden h n (y 1,...,y n,θ)= n y i i=1 d a i j θ j. Det er teknisk meget vanskeligere at arbejde medl 1 -afstande end medl 2 -afstande, og robuste kombinanter fører som regel ikke til eksplicitte formler for estimatorer etc. Men de spiller en stadig større rolle i den anvendte statistik. j=1

14 14 Kapitel 1. Det asymptotiske scenarie 1.3 M-estimatorer Ordet M-estimator bruges om en estimator, der fås frem ved at minimere en vilkårlig konkordanskombinant. Eller ved at maksimere, hvis det er det relevante at gøre i forhold til kombinantens fortolkning - der skelnes ikke så nøje mellem de to former for optimering, og M er et godt bogstav i begge sammenhænge. Men vi vil i almindelighed forestille os at der minimeres. Formelt definerer vi den globale M-estimator som en afbildning t n :X n Ψ der opfylder at h n (x, t n (x)) h n (x,ψ) for alleψ Ψ, i hvert fald for de x er hvor det kan lade sig gøre. Vi skal jo på en eller anden måde have skabt plads både til muligheden for flere minima, og til muligheden for at der ikke eksisterer noget minimum. Typisk bruger vi den stokastiske notation ˆψ n = t n (X n ). Eksempel 1.9 I eksempel 1.8 opstillede vi least squares kombinanter af formen h n (x,θ)=(x A n θ) T B n (x A n θ), hvor observationen x ligger ir n, hvor A n er en n d designmatrix, og hvor B n er en symmetrisk, positivt definit n n matrix. Klassisk lineær algebra tillader os at minimere denne kombinant eksplicit, og vi får at t n (x)= ( A n T B n A n ) 1An T B n x. Vores resultater handler desværre ikke altid om den globale M-estimator. Problemet er at argumenterne er baseret på en Taylorudvikling af kombinanten omkring den sande parameter, og denne Taylorudvikling har kun et relevant indhold tæt ved den sande parameter. Vi skal beskæftige os en del med den lokale M-estimator, der er den globale M-estimator, når parametermængden indskrænkes til en fast omegn af den sande parameter. Det er lidt af en tilsnigelse at kalde det en estimator, for det er ikke noget man kan regne ud - i praksis ved man jo ikke hvor den sande parameter ligger, og derfor kan man ikke indskrænke sit søgeområde til en omegn. Vi vil gøre hvad vi kan for at forbinde lokale og globale M-estimatorer. Dette tema kaldes global teori, og det viser sig at være overraskende vanskeligt. En ting, der

15 1.3. M-estimatorer 15 nogle gange redder os, er konveksitet af kombinanten - hvisψ h n (x,ψ) er konveks for alle x X n og for alle n, så vil et lokalt minimum automatisk være det globale minimum, og den lokale M-estimator vil således falde sammen med den globale M- estimator. Er den globale teori ikke helt tilfredsstillende, skal vi til gengæld se at teorien for den lokale M-estimator er et lyspunkt. Vores hovedsætninger har konklusioner, der ikke bør komme bag på nogen, der har en vis erfaring med praktisk statistik: Vi skal gøre rede for at den lokale M-estimator under visse regularitetsbetingelser er konsistent og asymptotisk normalfordelt, og vi skal gøre rede for at naturlige teststørrelser baseret på konkordanskombinanten (f.eks. kvotientteststørrelser) under yderligere regularitetsbetingelser er asymptotiskχ 2 -fordelte. Hvad der adskiller disse sætninger fra de moralske sætninger i Introduktion til Matematisk Statistik er at regularitetsbetingelserne her er eksplicitte, og at de (som vi skal se) faktisk kan kontrolleres i en bred vifte af eksempler.

16 16 Kapitel 1. Det asymptotiske scenarie