Lineære normale modeller (4) udkast

Transkript

1 E6 efterår 1999 Notat 21 Jørgen Larsen 2. december 1999 Lineære normale modeller (4) udkast 4.5 Regressionsanalyse Præsentation 1 Regressionsanalyse handler om at undersøge hvordan én målt størrelse afhænger af en eller flere andre. Antag at der foreligger et statistisk datamateriale som er fremkommet på den måde at man på hvert af nogle»individer«(f.eks. forsøgspersoner eller forsøgsdyr eller enkelt-laboratorieforsøg osv.) har målt værdien af et antal størrelser (variable). En af disse størrelser indtager en særstilling, idet man nemlig gerne vil»beskrive«eller»forklare«denne størrelse ved hjælp af de øvrige. Tit kalder man den variabel der skal beskrives for y, og de variable ved hjælp af hvilke man vil beskrive, for x 1, x 2,..., x p. Andre betegnelser fremgår af følgende oversigt: y den modellerede variabel den afhængige variabel den forklarede variabel responsvariabel x 1, x 2,..., x p baggrundsvariable de uafhængige variable de forklarende variable Her skitseres et par eksempler: 1. Lægen observerer den tid y som patienten overlever efter at være blevet behandlet for sygdommen, men lægen har også registreret en mængde baggrundsoplysninger om patienten, så som køn, alder, vægt, detaljer om sygdommen osv. Nogle af baggrundsoplysningerne kan måske indeholde information om hvor længe patienten kan forventes at overleve. 2. I en række nogenlunde ens i-lande har man bestemt mål for lungekræftforekomst, cigaretforbrug og forbrug af fossilt brændstof, altsammen pr. indbygger. Man kan da udnævne lungekræftforekomst til y-variabel og søge at»forklare«den ved hjælp af de to andre variable, der så får rollen som forklarende variable. 3. Man ønsker at undersøge et bestemt stofs giftighed. Derfor giver man det i forskellige koncentrationer til nogle grupper af forsøgsdyr og ser 1 Genbrug fra IMFUFA-tekst 254

2 Lineære normale modeller (4) Side 2 af 8 hvor mange af dyrene der dør. Her er koncentrationen x en uafhængig variabel hvis værdi eksperimentator bestemmer, og antallet y af døde er den afhængige variabel. Regressionsanalyse går ud på at finde en statistisk model hvormed man kan beskrive en y-variabel ved hjælp af en kendt simpel funktion af nogle baggrundsvariable og nogle parametre. Parametrene er de samme for alle observationssæt, hvorimod baggrundsvariablene typisk ikke er det. Man må naturligvis ikke forvente at den statistiske model leverer en perfekt beskrivelse, et perfekt fit, dels fordi den model man måtte finde frem til, næppe er fuldstændig rigtig, dels fordi en af pointerne med statistiske modeller netop er at de kun beskriver hovedtrækkene i datamaterialet og ser stort på de finere detaljer. Der vil derfor være en vis forskel mellem den observerede værdi y og den såkaldt fittede værdi ŷ, dvs. den værdi som man ifølge regressionsmodellen skulle få med de givne værdier af baggrundsvariablene. Denne forskel kaldes residualet og betegnes ofte e. Vi har så opspaltningen y = ŷ + e observeret værdi = fittet værdi + residual Residualerne er det som modellen ikke beskriver, og derfor er det naturligt at man (eller rettere modellen) anser dem for tilfældige, dvs. for at være tilfældige tal fra en vis sandsynlighedsfordeling. To væsentlige forudsætninger for at kunne benytte regressionsanalyse er 1. at det ikke er x-erne, men kun y-erne og residualerne, der er behæftede med tilfældig variation (»usikkerhed«), 2. at de enkelte målinger er stokastisk uafhængige af hinanden, hvilket vil sige at de tilfældigheder der indvirker på én bestemt y-værdi (efter at man har taget højde for baggrundsvariablene), ikke har nogen sammenhæng med de tilfældigheder der spiller ind på de øvrige y-værdier. Det simpleste eksempel på regressionsanalyse er det hvor der kun er én enkelt baggrundsvariabel, som vi så kan betegne x. Opgaven bliver da at beskrive y-værdierne ved hjælp af en kendt simpel funktion af x. Det simpleste ikketrivielle bud på en sådan funktion må vel være en funktion af typen y = α + xβ hvor α og β er to parametre, dvs. man formoder at y er en affin funktion af x. Derved får man den såkaldte simple lineære regressionsmodel. Næste skridt er den multiple lineære regressionsmodel hvor man har p forklarende variable x 1, x 2,..., x p og søger at beskrive y-værdierne med en funktion af formen y = p j=1 x jβ j.

3 Lineære normale modeller (4) Side 3 af Formulering af modellen For at regressionsmodellen kan blive til en genuin statistisk model, skal man specificere den sandsynlighedsfordeling som skal beskrive y-ernes variation omkring deres middelværdi. Denne sandsynlighedsfordeling antages at være en normalfordeling med varians σ 2 (samme varians for alle observationer). Vi vil formulere modellen mere præcist på følgende måde: Der foreligger n sammenhørende værdier af en afhængig variabel y og p baggrundsvariable x 1, x 2,..., x p. Det i-te sæt værdier er y i og x i1, x i2,..., x ip Det antages at y 1, y 2,..., y n er observerede værdier af uafhængige normalfordelte stokastiske variable Y 1, Y 2,..., Y n med samme varians σ 2 og med E Y i = p x i j β j, i = 1, 2,..., n (1) j=1 hvor β 1, β 2,..., β p er ukendte parametre. Ofte vil en af de forklarende variable være konstanten 1, dvs. den har værdien 1 for alle i. I matrixnotation kan modellen (1) skrives kort som E Y = Xβ hvor X er en n p-matrix (den såkaldte designmatrix) indeholdende x i j -værdierne. Man kan naturligvis også formulere det ved hjælp af underrum: E Y L hvor L = {Xβ : β R p }. Betegnelsen lineær regression skyldes at EY er en lineær funktion af β. Ovenstående kan generaliseres på flere måder. I stedet for observationer med samme varians kan man have»observationer hvis varians er kendt pånær en konstant faktor«, dvs. Var Y = σ 2 Σ hvor Σ > 0 er en kendt matrix og σ 2 en ukendt parameter; så bliver der tale om vægtet lineær regressionsanalyse. Man kan udskifte normalfordelingen med f.eks. binomialfordelingen, Poissonfordelingen eller gammafordelingen, og samtidig generalisere (1) til g(e Y i ) = p x i j β j, j=1 i = 1, 2,..., n for en passende funktion g; så bliver der tale om generaliseret lineær regression. I det følgende vil vi kun beskæftige os med ordinær lineær regression Estimation af parametrene Ifølge den generelle teori estimerer man middelværdivektoren Xβ som projektionen af y vinkelret ned på L. Det betyder at β skal estimeres ved en eller anden vektor β således at X β er lig projektionen af y på L. Det giver følgende nødvendige og tilstrækkelige betingelse som β skal opfylde: y

4 Lineære normale modeller (4) Side 4 af 8 X β, Xβ = 0, β R p, hvilket er ensbetydende med at X y X X β, β = 0, β R p, som igen er ensbetydende med at X X β = X y (2) Ligningssystemet (2) kaldes normalligningerne og består af p lineære ligninger med p ubekendte. Hvis X X (som er en p p-matrix) er regulær, er der en entydig løsning som man kan man skrive op som β = (X X) 1 X y Betingelsen at X X er regulær, kan formuleres på mange forskellige (ensbetydende) måder: dimensionen af L er p; rangen af X er p; rangen af X X er p; søjlerne i X er lineært uafhængige; parametriseringen er injektiv. Variansparameteren estimeres ved s 2 = y X β 2 /(n dim L). Ved at bruge regnereglerne for variansmatricer fås i øvrigt Var β ( = Var (X X) 1 X ) Y ( = (X X) 1 X ) Var Y ((X X) 1 X ) ( = (X X) 1 X ) σ 2 I ((X X) 1 X ) = σ 2 (X X) 1 (3) der estimeres ved s 2 (X X) 1. Kvadratroden af diagonalelementerne heri er estimater over middelfejlen (standardafvigelsen) på de tilsvarende β-er. Ethvert ordentligt computerprogram til statistik har en indbygget funktion til løsning af normalligningerne (2); funktionen vil returnere parameterestimaterne og deres middelfejl, og muligvis også hele Var β Hypoteseprøvning Hypoteser af formen H 0 : EY L 0 hvor L 0 er et underrum af L, testes på helt sædvanlig måde med et F-test. Ofte vil man være interesseret i en hypotese af formen H : β j = 0, svarende til at den tilsvarende forklarende variabel x j er uden betydning. En sådan hypotese kan testes enten med et F-test eller med t-teststørrelsen t = β j est. middelfejl på β j

5 Lineære normale modeller (4) Side 5 af Om faktorer Der kan være to forskellige slags baggrundsvariable. I det foregående er omtalt eksempler på kvantitative baggrundsvariable, dvs. nogle der angiver en eller anden størrelse. Man kan imidlertid også operere med kvalitative baggrundsvariable, faktorer, der angiver tilhørsforhold til en klasse i forbindelse med en klassificering. Eksempel: I ensidet variansanalyse optræder observationer y der er inddelt i et antal grupper; man kan opfatte data som bestående af sammenhørende værdier (y, f ) af en observation y og en faktor f som simpelthen er navnet på den gruppe som y tilhører. Man kan formulere det som et regressionsproblem: Lad os sige at der er k forskellige niveauer af f (dvs. der er k grupper), og lad os kalde dem 1, 2,..., k. Så indfører vi nogle kunstige (kvantitative) forklarende variable x 1, x 2,..., x k sådan at x i = 1 hvis f = i og 0 ellers. På den måde erstatter man (y, f ) med (y, x 1, x 2,..., x p ) hvor det er sådan at alle x-er pånær ét er lig 0, og det x som er lig 1, udpeger den gruppe som y tilhører. Ensidet variansanalyse-modellen kan nu skrives E Y = p x j β j j=1 hvor β j svarer til µ j i den oprindelige formulering af modellen. Ved at kombinere kvantitative baggrundsvariable og faktorer kan man formulere komplicerede modeller, eksempelvis med over- og underordnede grupper eller med forskellige lineære sammenhænge i forskellige delgrupper Opgaver OPGAVE 4.1 Betragt den simple lineære regressionsmodel E Y = α + xβ, og antag at der foreligger et antal sammenhørende værdier (y i, x i ), i = 1, 2,..., n. Hvordan ser designmatricen ud? Skriv normalligningerne op og løs dem. Find formler for middelfejlene (dvs. standardafvigelserne) på α og β, samt en formel for korrelationen mellem de to estimatorer. Tip: udnyt formel (3). I visse typer forsøg kan eksperimentator (eller statistikeren) selv bestemme x-værdierne inden for visse grænser. Hvordan skal man vælge x-erne? OPGAVE 4.2 (FORBES BAROMETRISKE MÅLINGER) Som bekendt aftager lufttrykket med højden over havets overflade, og derfor kan et barometer benyttes som højdemåler. Imidlertid kan man også bestemme højden ved at koge vand, fordi vands kogepunkt aftager med lufttrykket. I 1840erne og 1850erne foretog den skotske fysiker James D. Forbes på 17 forskellige lokaliteter i Alperne og i Skotland en række målinger hvor han bestemte dels vands kogepunkt, dels luftens tryk (omregnet til lufttrykket ved en standardlufttemperatur). Resultaterne er vist i Tabel 1.

6 Lineære normale modeller (4) Side 6 af 8 Tabel 1 Opgave 4.2: Forbes barometriske målinger. Kogepunktet er angivet i F, lufttrykket i inches Kviksølv. Kogepunkt Lufttryk Meningen med eksperimentet er at undersøge om og hvordan man kan forudsige lufttrykket (og dermed højden over havet) på grundlag af en bestemmelse af vands kogepunkt. Lav et scatterplot for at se om det skulle være muligt. 2. Bestem den bedste rette linje, og indtegn den i figuren. Hvordan passer linjen til punkterne? 3. Fysikken kan fortælle os at det næppe er lufttrykket selv der afhænger lineært af kogepunktet, men snarere logaritmen til lufttrykket. Derfor kan man forsøge sig med logaritmen til lufttrykkene i stedet for. Bliver det bedre af det? 4. Og så det praktiske: Hvordan omregner man egentlig fra lufttryk (eller kogepunkt) til højde over havets overflade? OPGAVE 4.3 (INDIANERE I PERU) En gruppe antropologer undersøgte hvordan blodtrykket ændrer sig hos peruvianske indianere der flyttes fra deres oprindelige primitive samfund i de høje Andesbjerge til den såkaldte civilisation, dvs. storbyen, der i øvrigt ligger i langt mindre højde over havets overflade end deres oprindelig bopæl. Antropologerne udvalgte en stikprøve på 39 mænd over 21 år der havde

7 Lineære normale modeller (4) Side 7 af 8 Tabel 2 Indianere i Peru: Sammenhørende værdier af y: systolisk blodtryk (mm Hg), x 1 : brøkdel af livet i de nye omgivelser, og x 2 : vægt (kg). y x 1 x 2 y x 1 x undergået en sådan flytning. På hver af disse måltes blodtrykket (både det systoliske og det diastoliske) samt en række baggrundsvariable, heriblandt alder, antal år siden flytningen, højde, vægt og puls. Desuden har man udregnet endnu en baggrundsvariabel, nemlig»brøkdel af livet levet i de nye omgivelser«, dvs. antal år siden flytning divideret med nuværende alder. Man forestillede sig at denne baggrundsvariabel kunne have stor»forklaringsevne«. Her vil vi ikke se på hele talmaterialet, men kun på blodtrykket (det systoliske) der skal optræde som y-variabel, og på de to x-variable brøkdel af livet i de nye omgivelser og vægt. Disse er angivet i Tabel 2. Antropologerne mente at x 1 (brøkdel levet i de nye omgivelser) var et godt mål for hvor længe personerne havde levet i de civiliserede omgivelser, og at det derfor måtte være interessant at se hvor godt x 1 kunne forklare blodtrykket y. Første skridt kunne derfor være at fitte en simpel lineær regressionsmodel med x 1 som forklarende variabel. Gør det. Hvis man i et koordinatsystem afsætter y mod x 1, viser det sig imidlertid at det bestemt ikke virker særlig rimeligt at hævde at (middelværdien af) y afhænger lineært af x 1. Derfor må man give sig til at overveje om andre af de

8 Lineære normale modeller (4) Side 8 af 8 målte baggrundsvariable med fordel kan inddrages. Nu ved man at en persons vægt har betydning for den pågældendes blodtryk, så næste modelforslag kunne være en multipel regressionsmodel med både x 1 og x 2 som forklarende variable. Estimér parametrene i denne model. Hvad sker der med variansestimatet? Undersøg residualerne for at vurdere modellens kvalitet. Giv en tolkning af slutmodellen i forhold til de peruvianske indianere.