Kursus i basal statistik: Multipel regression

Multipel regression: Princip 2 Multipel regression: Et outcome, mange forklarende variable Problemstillingen kan eksempelvis være: Kursus i basal statistik: Multipel regression Birthe Lykke Thomsen Det Nationale Forskningscenter for Arbejdsmiljø Prædiktion eller konstruktion af normalområde til diagnostisk brug, for eksempel finde et skøn over fostervægten ved hjælp af ultralydsmål. Prædiktion af outcome er hovedfokus, ikke de specifikke sammenhænge med de enkelte forklarende variable. Ønske om at justere for forstyrrende variable ( confoundere ), for eksempel vurdere, om grøntsager beskytter mod forhøjet blodtryk uden fejlagtigt at tro på en falsk sammenhæng, fordi rygere måske spiser færre grøntsager, mens fysisk aktive måske spiser flere grøntsager. Flere forklarende variable er af interesse: Hvilke er vigtige? Fanger de det samme aspekt? Har de selvstændig betydning? Eksempelvis en vurdering af, hvordan vægttilvækst afhænger af indtaget af protein, fedt, sukkerarter, andre typer af kulhydrater og fibre. Multipel regression: Princip 3 Multipel regression: Princip 4 Alle principperne for multipel regression gælder for enhver statistisk analyse med flere forklarende variable kun modelkontrollen afhænger af, om det er almindelig regression, logistisk regression eller overlevelsesanalyse. Programmeringsteknisk set: Helt magen til simpel lineær regression, man skriver bare flere variable i MODEL y = x1 x2 x3; Modelkontrollen er også magen til der er bare flere forklarende variable, som residualerne skal tegnes op mod.

Multipel regression 5 Repetition af simpel lineær regression Multipel regression: Repetition af simpel lineær regression 6 Spørgsmål: Hvordan hænger fedmegraden i skolealderen sammen med barnets højde i 1-årsalderen? Fedmegraden i skolealderen måles her ved en fedmescore beregnet som et standardiseret mål for, hvor langt barnets BMI-vækstkurve ligger fra den mediane BMI vækstkurve for 7-14 årige børn. Med standardiseret menes, at målet har en standarddeviation på 1. (Upublicerede data fra T.I.A. Sørensen) Modelkontrol i simpel lineær regression Statistisk model for person i: Y i = a + bx i + e i, e i N(0, σ 2 ) uafhængige for forskellige i er Hvad skal vi tjekke her? 1. linearitet tegne 2. varianshomogenitet tegne 3. normalfordelte residualer (afstande til linien) tegne Husk: Intet krav om normalfordeling på X i erne eller Y i erne!! 4. Vigtigst af alt: uafhængighed mellem residualerne tænke! Er der flere observationer på samme individ? Indgår der personer fra samme familie? Tvillinger? Multipel regression: Repetition af simpel lineær regression 7 Modelkontroltegninger, husk altid af residualer mod den forklarende variabel afvigelse fra linearitet ses typisk som eller facon mod de prædikterede værdier ŷ i tjek for voksende varians evt. mod klassevariabel (boxplot) i fraktildiagram normalfordeling svarer til ret linie nyt plot til tjek af konstant varians: (normerede residualer) 2 mod de prædikterede værdier kurven viser, om variansen vokser (den skal ligge vandret omkring 1) Multipel regression: Modelkontrol 8 Det nye variansplot er nemt at vurdere, men det er ikke med som standard plot. Det kræver særskilt programmering: 1. Normerede residualer skal gemmes på et datasæt sammen med de prædikterede værdier PROC REG DATA=Skolehelbred; MODEL FedmeSc = Hjd1 / CLB; OUTPUT OUT=med_resid P=Predicted RSTUDENT=Norm_Resid_Uden; QUIT; 2. En ny variabel lig med residualerne kvadreret skal beregnes DATA med_resid; SET med_resid; Norm_Resid_Squared = norm_resid_uden**2; 3. Den nye variabel skal tegnes op mod de prædikterede værdier med en udglattet gennemsnitskurve, helst med en Y-akse, der går fra 0 til 4. Konstant varians giver en kurve, der ligger omkring den vandrette linje y = 1 *- Udseendet af akserne, når de bruges i GPLOT: -*; AXIS1 LABEL=(H=3) VALUE=(H=2.5) MINOR=NONE; AXIS222 LABEL=(H=3 A=90) VALUE=(H=2.5) ORDER=(0 TO 4) MINOR=(N=1); *- Tegn udglattet kurve: -*; SYMBOL1 V=CIRCLE CV=BLACK H=2 I=SM75S CI=RED MODE=INCLUDE; PROC GPLOT DATA=med_resid; PLOT Norm_Resid_Squared*predicted / HAXIS=AXIS1 VAXIS=AXIS222 VREF=1 CVREF=BLACK LVREF=33; QUIT;

Multipel regression: Modelkontrol 9 Hvis lineariteten ikke holder, bliver estimaterne misvisende og ufortolkelige! Afhjælpning: Tilføj flere kovariater, kovariater relateret til den oprindelige kovariat, f.eks. log(hjd1): FedmeSc=a+b 1 Hjd1+b 2 log(hjd1) Test af, om linearitet er ok: b 2 =0. Test af, om %-vis effekt er ok: b 1 =0. helt nye kovariater Transformer variablene med logaritmer kvadratrod invers Lad være med at gøre noget: ikke-lineær regression Multipel regression: Modelkontrol 10 Varianshomogenitet? (konstant varians = konstant spredning) Ikke vigtigt for estimation af regressionsparametrene, men hvis der ikke er rimelig varianshomogenitet, bliver estimationen inefficient (dvs. unødigt stor usikkerhed på parameterestimaterne) En forudsætning for, at man kan stole på spredningen, standard errors for parametrene og p-værdierne Vigtigt for normalområder og prædiktionsgrænser Multipel regression: Modelkontrol 11 Afhjælpning af variansinhomogenitet For at få en tilnærmelse til mere korrekte konfidensgrænser og p-værdier i tilfælde af variansinhomogenitet kan man tilføje options HCC HCCMETHOD=3 i MODEL-statement i PROC REG i SAS: PROC REG DATA=Skolehelbred; MODEL FedmeSc = Hjd1 / CLB HCC HCCMETHOD=3; QUIT; Mere komplicerede modeller (PROC MIXED) Multipel regression: Modelkontrol 12 Typiske alternativer til varianshomogenitet Konstant relativ spredning = konstant variationskoefficient Variationskoefficient (CV) = spredning middelværdi ofte konstant, når man ser på størrelser, der (evt. skjult) involverer division (f.eks. koncentrationer, BMI, andel positive celler, laboratorieassays, observationer beregnet ud fra lys- eller farveintensiteter... ) giver voksende kurve i (det nye) plot af kvadrerede residualer mod prædikterede værdier og kan give trompetfacon på det sædvanlige plot af residualer mod prædikterede værdier afhjælpes ved at transformere outcome (Y i ) med logaritme: Spredning(ln(y)) Spredning(y) = CV Middelværdi(y) Forskellige grupper f.eks. flere instrumenter eller laboratorier, mænd/kvinder, forskellige patienttyper afhjælpes med mere komplicerede modeller for variansen

Multipel regression: Modelkontrol 13 Normalfordelingsantagelsen er ikke kritisk for selve fittet: Mindste kvadraters metode giver under alle omstændigheder gode estimater (men pas på outliers) er i princippet en forudsætning for t-fordelingen af teststørrelsen, men reelt behøves kun, at estimatet ˆb er nogenlunde normalt fordelt, og dette passer ofte, når der er rimeligt mange observationer. er vigtig for normalområder og prædiktionsgrænser Husk: Det er kun residualerne, der antages at være normalfordelte, hverken outcome eller kovariater! Outliers i den høje ende ( hængekøje ) kan ofte afhjælpes ved at logaritmetransformere outcome. Multipel regression: Transformation 14 Transformation: logaritmer, kvadratrod, invers logaritmer (X og/eller Y ) giver simpel fortolkning af estimaterne skal bruges, hver gang man føler trang til at tænke relativt til eller vil omregne til % kvadratrod (Y ) giver konstant varians for tælletal (f.eks. antal cancertilfælde) kan afhjælpe variansinhomogenitet, når man ikke kan tage logaritmen, fordi der er 0 er i data, f.eks. ved data fra assays, hvor man har brugt den metodologisk inadekvate, men ofte brugte formel (observation negativ kontrol)/(positiv kontrol negativ kontrol) for at justere for baggrundsstøj [få fat i de oprindelige observationer] invers (X og/eller Y ) normalt kun relevant, når den også er forståelig, som f.eks. omregning fra antal hændelser pr tidsenhed til gennemsnitstid mellem hændelser eller omvendt omregning fra hvor lang tid tager det (varighed) til hvor hurtigt går det (hastighed) eller omvendt Multipel regression: Transformation 15 Hvorfor tage logaritmer? af de forklarende variable for at opnå linearitet, hvis det er %-vise forskelle, der har konstant effekt. Brug gerne 2-tals logaritmer (effekt af fordobling) eller XX=log(X)/log(1.1); (så er ˆbxx lig effekten af 10% forskel i X) for at se på multiplikative sammensætninger af nogle af de forklarende variable (f.eks. vægt og højde, jf. BMI) for at mindske indflydelsen af nogle få, ekstremt store værdier af outcome overvej om de forklarende variable så også skal transformeres fordi man forventer multiplikative effekter på Y for at opnå linearitet for at mindske indflydelsen af høje outliers for at opnå varianshomogenitet, fordi en konstant variationskoefficient på Y betyder konstant varians på log(y ) (gælder for alle logaritmetransformationer) for at opnå normalitet Multipel regression: Transformation 16 Logaritme-transformation af en forklarende variabel X (bemærk: her skal der ikke tilbagetransformeres) ˆb er effekten på responsvariablen for hver gang X ganges med en fast faktor hvilken faktor afhænger af valget af logaritme XX = log 10 (X) XX = log 2 (X) faktor=10, dvs. 10-dobling af X faktor=2, dvs. fordobling af X XX = log(x)/ log(1.1) faktor=1.1, dvs. 10% større X Tip: logaritme-regneregel med to variable X og Z giver b x log(x) + b z log(z) = b x log(x Z b z/bx), så hvis b z = b x, fås b x log( X ) som i f.eks. talje-hofte ratio Z hvis b z = 2b x, fås b x log( X vægt Z 2 ) som i f.eks. højde 2 =BMI så det er klogere at bruge de to variable log(x) og log(z) i stedet for den præ-definerede, kombinerede variabel ( X Z eller X Z 2 eller... ), så data i stedet for fordomme kan få lov at bestemme den bedste kombination!

Multipel regression: Transformation 17 Logaritme-transformation af responsvariablen Y (bemærk: her skal der tilbagetransformeres) De additive effekter af de forklarende variable tilbagetransformerer til multiplikative effekter a + b 1 X 1 + b 2 X 2 anti-log(a) anti-log(b 1 X 1 ) anti-log(b 2 X 2 ) anti-log(ˆb j ) er den faktor, som den prædikterede værdi Ŷ skal ganges med for hver 1 enheds forskel i den forklarende variabel X j omregnet til procentvis ændring i Ŷ : (anti-log(ˆb j ) 1) 100 % For Y Y = ln(y ) er 100 ˆb j ca. lig den %-vise ændring i Ŷ for hver 1 enheds forskel i X j, hvis ˆb j er tilstrækkeligt lille men til artikler bør det beregnes præcist med formlen ovenfor. anti-log(intercept)=anti-log(â) er den konstant, som produktet af de (tilbagetransformerede) multiplikative effekter skal ganges med for at finde den prædikterede værdi Ŷ. Multipel regression: Transformation 18 Logaritme-transformation af responsvariablen Y, fortsat (tilbagetransformation af prædiktionsgrænser) For den tilbagetransformerede prædikterede værdi Ŷ = anti-log(a + b 1 X 1 + b 2 X 2 ) = anti-log(a) anti-log(b 1 X 1 ) anti-log(b 2 X 2 ) skal prædiktionsgrænserne ganges på øvre: Ŷ anti-log(ca. 2 s) nedre: Ŷ anti-log( ca. 2 s) = Ŷ /anti-log(ca. 2 s) hvor s er standard deviationen (RootMSE) fra analysen af den logaritmetransformerede responsvariabel log(y ) Man kan alternativt beregne prædiktionsgrænserne for den logaritmetransformerede respons (a + b 1 X 1 + b 2 X 2 ± ca. 2 s) og så tilbagetransformere hver enkelt grænse til sidst Reminder: Husk altid at tilbagetransformere med den rette anti-log! Multipel regression: Transformation 19 Logaritme-transformation af både X og Y Sammenhængen mellem X og Y er en potensfunktion (og dermed ikke længere eksponentielt voksende eller exponentielt aftagende) Hvis den samme logaritme er brugt for både X og Y, kan log(ŷ ) = â + ˆb log(x) tilbageregnes til Ŷ = A Xˆb, hvor A = anti-log(â), og ˆb er den potens, som X skal opløftes til for at prædiktere Y, dvs. Y Xˆb er er et kvalificeret bud på Y normeret for X, jf. BMI ellers må man først lave tilbagetransformationen til Y s oprindelige skala og derefter forstå, hvad 1 enheds ændring i den transformerede variabel XX svarer til for den originale X (valgte man log 10, log 2 eller pr 10% =log(x)/log(1.1)?) Multipel regression: Effekt af relative forskelle i eksemplet 20 Fedmescoren som funktion af 1-års højden, pr 10% forskelle. R-Square Coeff Var Root MSE fedmesc Mean 0.052208-1638.781 0.97604-0.05956 Standard Parameter Estimate Error t Value Pr> t Intercept 0.99444 0.32903 3.02 0.0028 Hjd1_pr10pct 0.36274 0.11068 3.28 0.0012 Parameter 95% Conf. Limits Intercept 0.34553 1.64335 Hjd1_pr10pct 0.14446 0.58102 Konklusion: Fedmegraden i skolealderen vokser stærkt signifikant med højden i 1-års alderen, omend forklaringsevnen er begrænset.

Multipel regression: Teori 21 Multipel regression Multipel regression: Teori 22 person x 1 x 2... x p y Data: n personer, dvs. n sæt af sammenhørende observationer: 1 x 11 x 12... x 1p y 1 2 x 21 x 22... x 2p y 2 3 x 31 x 32... x 3p y 3 : : :... : : : : :... : : n x n1 x n2... x np y n Den lineære regressionsmodel med p forklarende variable skrives: Parametre: b 0 y i = b 0 + b 1 x i1 + b 2 x i2 + + b p x ip + e i respons middelværdi biologisk variation outcome regressionsfunktionen måleusikkerhed/støj afskæring, intercept Fedmescore 4 2 0 2 4 5 4 3 2 1 0 1 6 4 2 0 2 4 Vægt pr 10% 6 b 1,, b p regressionskoefficienter Højde pr 10% Multipel regression: Teori 23 Multipel regression: Opstilling af model, estimation og test 24 Regressionsmodel: y i = b 0 + b 1 x i1 + + b p x ip + e i, Traditionelle antagelser: e i N(0, σ 2 ), uafhængige i = 1,, n Mindste kvadraters metode: Find de b 0, b 1,, b p, der minimerer summen af de kvadrerede lodrette afstande S(b 0, b 1,, b p ) = (yi (b 0 + b 1 x i1 + + b p x ip )) 2 5 4 3 2 1 0 Fedmescore 6 4 2 0 2 4 6 Højde pr 10% 4 2 0 2 4 6 Vægt pr 10% 6 Spørgsmål: Hvordan hænger fedmegraden i skolealderen sammen med højde og vægt i 1-årsalderen? Vi er interesserede i at se på multiplikative effekter af højde og vægt i 1-årsalderen for at se, om et mål svarende til BMI kunne være relevant. Derfor bruges logaritmetransformerede højde og vægt som forklarende variable, her med den logaritmetransformation, så parameterestimaterne svarer til 10% forskelle. DATA Skolehelbred; SET SkoleHelbred; Hjd1_pr10pct = LOG(Hjd1)/LOG(1.1); * "/log(1.1)" giver effekt pr 10%; Vgt1_pr10pct = LOG(Vgt1/10)/LOG(1.1); * "Vgt/10" centrerer til 10 kg så ; * Intercept svarer til vægt=10 kg ; PROC REG DATA=SkoleHelbred; MODEL FedmeSc = Hjd1_pr10pct Vgt1_pr10pct / CLB;

Multipel regression: Opstilling af model, estimation og test 25 Output (lidt redigeret af hensyn til pladsen) Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr > F Model 2 46.01528 23.00764 29.76 <.0001 Error 194 149.98472 0.77312 Corrected Total 196 196.00000 Root MSE 0.87927 R-Square 0.2348 Dependent Mean -0.05956 Adj R-Sq 0.2269 Coeff Var -1476.30564 Multipel regression: Opstilling af model, estimation og test 26 Test af simple hypoteser Er højden uden betydning, når vægten er med i modellen? H 0 : b 1 =0 Her har vi ˆb 1 = 0.45993 med se(ˆb 1 )=0.15673, og t-testet 95% konfidensinterval: t = ˆb 1 = 2.93 t(194), p = 0.0037 se(ˆb 1 ) ˆb1 ± t (97.5%,194) se(ˆb 1 ) = 0.45993 ± 1.9723 0.15673 = ( 0.77, 0.15) Parameter Estimates Parameter Standard Variable DF Estimate Error t Value Pr > t 95% Conf. Limits Intercept 1-1.38367 0.45831-3.02 0.0029-2.28758-0.47976 Hjd1_pr10pct 1-0.45993 0.15673-2.93 0.0037-0.76904-0.15082 Vgt1_pr10pct 1 0.45679 0.06714 6.80 <.0001 0.32437 0.58922 Men: ˆbj erne er korrelerede, når de forklarende variable er korrelerede! Derfor kan man ikke lave et kombineret test/konfidensområde for begge variable ud fra testene/konfidensgrænserne for hver af variablene Multipel regression: Fortolkning 27 Multipel regression: Fortolkning 28 Simple (univariate) regressionsmodeller: Responsen vurderes overfor de forklarende variable hver for sig. Multipel regressionsmodel: Responsen vurderes overfor begge forklarende variable samtidigt. Estimaterne for disse modeller (med tilhørende standard errors (se) i parentes): ˆb0 (se) ˆb1 (se) ˆb2 (se) s Model [Intercept] [Hjd1_pr10pct] [Vgt1_pr10pct] [Root MSE] Kun Hjd_pr10pct 0.994 (0.329) 0.363 (0.111) 0.976 Kun Vgt_pr10pct -0.051 (0.064) 0.305 (0.044) 0.896 Multipel -1.384 (0.458) -0.460 (0.157) 0.457 (0.067) 0.879 Bemærk, 1) at koefficienterne (ˆb 1 og ˆb 2 ) ændres, og 2) at deres se bliver større, selvom residualspredningen s bliver mindre. Matematisk fortolkning af koefficienten b 1 til Hjd1_pr10pct: Simpel/univariat regressionsmodel: Forventet forskel i FedmeSc er 0.36 for 1 enheds forskel i kovariaten Hjd1_pr10pct, dvs. for en forskel på 10% i 1-års højden. Multipel regressionsmodel: Forventet forskel i FedmeSc er 0.46 for 1 enheds forskel i kovariaten Hjd1_pr10pct for to individer, hvor alle andre kovariater (her kun Vgt_pr10pct) er identiske ( holdes fast ). Det kaldes, at vi har korrigeret ( adjusted ) for effekten af de andre kovariater. Forskellen kan være markant, fordi kovariaterne typisk er relaterede: Når en af dem ændres, ændres nogle af de andre oftest også Vigtigt: Den biologiske fortolkning af parameterestimaterne ændres også: Det videnskabelige spørgsmål, der besvares, er ikke det samme spørgsmål!

Multipel regression: Fortolkning 29 Det videnskabelige spørgsmål, som kan belyses af koefficienten til Hjd1_pr10pct i den univariate model: Når højden er alene, er den et udtryk for, hvor stort barnet er, så det videnskabelige spørgsmål, der belyses, er, Er børn, der er store i 1-årsalderen, i gennemsnit federe i skolealderen? Den positive koefficient til højden betyder, at fedmegraden i skolealderen vokser signifikant med størrelsen i 1-års alderen. Biologisk mekanisme: Overernæring i barnealderen bruges til at vokse, så barnet bliver stort af sin alder, men det kan øjensynligt øge risikoen for fedme senere. Heldigvis er det ikke en stærkt deterministisk sammenhæng (residualspredningen er relativt stor). Multipel regression: Fortolkning 30 Videnskabelige spørgsmål, som kan belyses af koefficienten til Hjd1_pr10pct i den multiple regressionsmodel: Når vægten fastholdes, ved vi noget mere om det højeste af de to småbørn: Det højeste barn må også være det slankeste barn! Så det nye videnskabelige spørgsmål, der belyses, er, Er børn, der er slanke i 1-årsalderen, i gennemsnit slankere i skolealderen? Den negative koefficient til højden betyder, at slanke småbørn generelt er slankere i skolealderen. Koefficienterne til de logaritme-transformerede højde og vægt er lige store og med modsat fortegn. Det betyder, 1. at vægt/højde (altså ikke BMI=vægt/højde 2 ) i 1-års alderen er prædiktivt for fedme i skolealderen 2. at to småbørn med samme vægt/højde-ratio har samme forventede fedmegrad i skolealderen Multipel regression: Prædiktion 31 Multipel regression: Prædiktion 32 Først beregnes kovariaterne: Prædiktion ud fra modellen X 1 = X 2 = log(højde (m)) log(1.1) log(vægt (kg)/10) log(1.1) (her er det ligegyldigt, hvilken logaritme man bruger) Derefter beregnes den prædikterede værdi for Z-scoren for fedme i skolealderen som Ẑ = 1.384 0.460 X 1 + 0.457 X 2 Regneeksempel (barn nr. 100): Et barn, der er 80 cm højt og vejer 10.8 kg, giver X 1 = ln(0.8)/ ln(1.1) = 0.2231/0.09531 = 2.341 og X 2 = ln(1.08)/ ln(1.1) = 0.07696/0.09531 = 0.807, så den prædikterede fedmescore er Ẑ = 1.384 0.460 ( 2.341) + 0.457 0.807 = 0.061 Barnets observerede fedmescore: 0.27

Multipel regression: Prædiktion 33 Multipel regression: Modelevaluering 34 Stærk signifikant effekt af begge kovariater holder fordelingsantagelserne? Regneeksempel, fortsat (barn nr. 100) Prædiktionsgrænserne er Ŷ ± ca. 2 s = 0.061 ± t (97.5%,194) RootMSE = 0.061 ± 1.9723 0.879 = [ 1.67, 1.79] Der er snydt en smule her: Vi har negligeret estimationsusikkerheden på regressionsparametrene (b erne). Hvis den prædikterede værdi og prædiktionsgrænserne beregnes af SAS, fås 0.06 [-1.68, 1.80] PROC REG DATA=SkoleHelbred; MODEL FedmeSc = Hjd1_pr10pct Vgt1_pr10pct / CLI; Vurdering af modellen: Linearitet er ok Ingen tegn på voksende varians med voksende middelværdi Normalfordelingen halter en lille smule, med lidt for mange af de store positive residualer og lidt for få af de store negative residualer. Afvigelsen fra normalfordelingen er dog ikke specielt stor helt ude i ekstremerne Multipel regression: Modelevaluering 35 Hvad bør tjekkes? 1. Den sædvanlige modelkontrol af fordelingsantagelserne: Linearitet, varianshomogenitet, normalfordeling og korrelationer/uafhængighed er ligesom for simpel lineær regression 2. Vekselvirkning (=interaktion=effektmodifikation) Produktled, ligesom for variansanalysen? Pas på: SAS ganger bare variablene sammen! Duer kun, hvis effekten af den ene kovariat vokser proportionalt med, hvor stor den anden kovariat er! Lav grupperet version af den ene kovariat ( 3 grp), og lad denne nye variabel vekselvirke med den anden kovariat. Husk at beholde den oprindelige lineære kovariat i modellen også ellers kan residualkonfounding af kovariaten fejlagtigt blive tilskrevet en vekselvirkning! (Se SAS kode eksempel på sidste side) bør gøres for begge kovariater, en ad gangen 3. Indflydelsesrige observationer Cook s afstand, helst splittet op på hver variabel Multipel regression: Indflydelsesrige observationer 36 Regression diagnostics: Cook s afstand og DFbetas Understøttes konklusionerne af hele materialet? Eller er der enkelte observationer med meget stor indflydelse på resultaterne? Udelad den i te person og find nye estimater, Cook s afstand er et samlet mål for ændringen i parameterestimaterne (i) (i) (i) ˆb 0, ˆb 1 og ˆb 2 Cook s afstand kan spaltes ud på hver variabel (DFBETAS), så man kan se, hvor meget f.eks. ˆb 1 ændrer sig (i forhold til sin standard error), når den i te person tilføjes til resten af datasættet (kan gøres ved hjælp af option INFLUENCE i MODEL-statement for PROC REG, er ikke muligt i PROC GLM)

Multipel regression: Indflydelsesrige observationer 37 PROC REG DATA=Skolehelbred; Multipel: MODEL FedmeSc = Hjd1_pr10pct Vgt1_pr10pct / CLB INFLUENCE; ODS OUTPUT OutputStatistics=DFBmv; Cook s afstand som mål for indflydelse DATA MedDFB; MERGE SkoleHelbred DFBmv; Multipel regression: Indflydelsesrige observationer 38 Opdelt efter betydningen for hver af de to regressionsparametre (SAS har bestemt variabelnavnene DFB_Hjd1_pr10pct og DFB_Vgt1_pr10pct) PROC G3D DATA=MedDFB; SCATTER hjd1_pr10pct*vgt1_pr10pct=cooksd / SHAPE="pillar" SIZE=0.45 TILT=75 GRID COLOR="BLACK" ; Multipel regression: Indflydelsesrige observationer 39 Hvad gør vi ved indflydelsesrige observationer? Multipel regression: Eksempel 2 40 Mange forklarende variable O Neill et. al. (1983): Lungefunktion hos 25 patienter med cystisk fibrose. ser nærmere på dem! anfører et mål for deres indflydelse? udelader dem? Hvornår kan vi udelade dem? hvis de ligger meget yderligt for en forklarende variabel husk at afgrænse konklusionerne tilsvarende! hvis man kan finde årsagen og så skal alle den slags observationer udelades!

Multipel regression: Eksempel 2 41 Multipel regression: Variabelselektion 42 Hvilke forklarende variable har en univariat effekt på responset P E max? BMP: BMI i % af BMI udregnet for median vægt og median højde for raske børn med samme alder FEV 1 : Forced expiratory volume in 1 second RV: FRC: TLC: Residual volume Functional residual capacity Total lung capacity P E max : Maximal expiratory pressure Er det så disse variable, der skal med i modellen? Multipel regression: Variabelselektion 43 Korrelationer: Age Sex Height Weight BMP FEV1 RV FRC TLC Age 1.00000-0.16712 0.92605 0.90587 0.37776 0.29449-0.55194-0.63936-0.46937 0.0 0.4246 0.0001 0.0001 0.0626 0.1530 0.0042 0.0006 0.0179 Sex -0.16712 1.00000-0.16755-0.19044-0.13756-0.52826 0.27135 0.18361 0.02423 0.4246 0.0 0.4234 0.3619 0.5120 0.0066 0.1895 0.3797 0.9085 Height 0.92605-0.16755 1.00000 0.92070 0.44076 0.31666-0.56952-0.62428-0.45708 0.0001 0.4234 0.0 0.0001 0.0274 0.1230 0.0030 0.0009 0.0216 Weight 0.90587-0.19044 0.92070 1.00000 0.67255 0.44884-0.62151-0.61726-0.41847 0.0001 0.3619 0.0001 0.0 0.0002 0.0244 0.0009 0.0010 0.0374 BMP 0.37776-0.13756 0.44076 0.67255 1.00000 0.54552-0.58237-0.43439-0.36490 0.0626 0.5120 0.0274 0.0002 0.0 0.0048 0.0023 0.0300 0.0729 FEV1 0.29449-0.52826 0.31666 0.44884 0.54552 1.00000-0.66586-0.66511-0.44299 0.1530 0.0066 0.1230 0.0244 0.0048 0.0 0.0003 0.0003 0.0266 RV -0.55194 0.27135-0.56952-0.62151-0.58237-0.66586 1.00000 0.91060 0.58914 0.0042 0.1895 0.0030 0.0009 0.0023 0.0003 0.0 0.0001 0.0019 Multipel regression: Variabelselektion 44 Videnskabelig variabelselektion Gennemtænk præcis hvilket videnskabeligt spørgsmål, man ønsker besvaret det præcise spørgsmål bestemmer hvilke variable, der skal inkluderes i modellen. Svært men den eneste måde at opnå egentlig videnskabelig indsigt! (og så bliver det lettere at skrive en god artikel og lettere at svare på reviewernes kommentarer... ) FRC -0.63936 0.18361-0.62428-0.61726-0.43439-0.66511 0.91060 1.00000 0.70440 0.0006 0.3797 0.0009 0.0010 0.0300 0.0003 0.0001 0.0 0.0001

Multipel regression: Variabelselektion 45 Automatisk variabelselektion Forlæns selektion Medtag hver gang den mest signifikante Slutmodel: Weight BMP FEV1 Baglæns elimination Start med alle, udelad hver gang den mindst signifikante Slutmodel: Weight BMP FEV1 Det ser da meget stabilt ud!? Men: Hvis nu observation nr. 25 tilfældigvis ikke havde været med? Så ville forlæns selektion have taget højde ind som den første, og baglæns elimination ville have smidt højde ud som den første! Tommelfingerregel (vedrører kun stabiliteten): Antallet af observationer skal være mindst 10 gange så stort som antallet af undersøgte parametre! Multipel regression: Variabelselektion 46 Massesignifikans! Advarsel ved variabelselektion Enhver variabelselektion baseret på signifikansvurderinger (dvs. også når I selv fjerner enkelte variable pga. statistisk insignifikans): Signifikanserne overvurderes! Regressionsparametrene er for store, dvs. for langt væk fra 0. Automatisk variabelselektion: Hvad kan vi sige om vinderne? Var de hele tiden signifikante, eller blev de det lige pludselig? I sidstnævnte tilfælde kunne de jo være blevet smidt ud, mens de var insignifikante... Multipel regression: Variabelselektion 47 Multipel regression: Variabelselektion 48 Baglæns elimination - successive p-værdier Når alle 9 kovariater medtages (start på baglæns elimination): Parameter Estimates Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob > T INTERCEP 1 176.058206 225.89115895 0.779 0.4479 Age 1-2.541960 4.80169881-0.529 0.6043 Sex 1-3.736781 15.45982182-0.242 0.8123 Height 1-0.446255 0.90335490-0.494 0.6285 Weight 1 2.992816 2.00795743 1.490 0.1568 BMP 1-1.744944 1.15523751-1.510 0.1517 FEV1 1 1.080697 1.08094746 1.000 0.3333 RV 1 0.196972 0.19621362 1.004 0.3314 FRC 1-0.308431 0.49238994-0.626 0.5405 TLC 1 0.188602 0.49973514 0.377 0.7112 p value 0.0 0.2 0.4 0.6 0.8 Sex TLC FRC Age Height RV FEV1 BMP Weight 1 2 3 4 5 6 7 8 9 step

Multipel regression: Variabelselektion 49 Multipel regression: Variabelselektion 50 Traditionelle anbefalinger ved automatisk variabelselektion Baglæns elimination Gennemregning af alle modeller Cross-validation: Foretag variabelselektionen på en del af data, afprøv bagefter på resten Shrinkage af regressionsparameterestimaterne Overvej også, om parametrene overhovedet kan fortolkes! Hvordan kan effekterne af Weight og BMP fortolkes i samme model?? Anbefalinger ved videnskabeligt baseret variabelselektion Undgå uklare problemstillinger hvis man er usikker på en kovariat, så gennemtænk den præcise forskel, som kovariaten gør for fortolkningen Hvis datagenereret variabelselektion er relevant, så prioriter variablene ud fra relevante kriterier (biologisk relevans, tilgængelighed [f.eks. er ikke-invasive undersøgelser oftest at foretrække], andres standard valg,... ) Test noget meningsfuldt! Og lad være med at smide nogle variable ud, bare fordi deres p-værdi (tilfældigvis?) er stor Så er det nemmere at få det publiceret. Multipel regression: Variabelselektion 51 Multipel regression: Kollinearitet 52 Multipel regressionsmodel vs. simple/univariate regressionsmodeller Den tekniske årsag til problemerne: Kollinearitet Kollinearitet: De forklarende variable er lineært relaterede Det vil de altid være til en vis grad, undtagen i designede forsøg (f.eks. landbrugsforsøg) Hvad er problemet ved kollinearitet? Fortolkningen af resultaterne: Hvordan skal (effekten af) hver enkelt kovariat fortolkes? Hvad er årsagen til den observerede sammenhæng? Meget sjældent: Tekniske problemer med estimationen Højde Vægt Variable i modellen ˆb1 (se) p ˆb2 (se) p s (RootMSE) Kun Height 0.93 (0.26) 0.0015 - - 27.3 Kun Weight - - 1.19 (0.30) 0.0006 26.4 Både Height og Weight 0.15 (0.66) 0.82 1.02 (0.79) 0.21 26.9 Hver af de to forklarende variable har betydning vurderet ud fra de univariate modeller. I den multiple regressionsmodel ser ingen af dem ud til at have selvstændig betydning. De to variable fanger et betydningsfuldt aspekt, men det er svært at sige hvilken variabel, der er bedst vægten ser ud til at være den med stærkest sammenhæng i disse data, men pas på fortolkningen! Det betyder ikke, at vægten er den sande årsag måske opsummerer vægten bare aspekter fra flere af de egentlige årsager eller rammer bedre for en enkelt indflydelsesrig observation (her observation nr. 25).

Multipel regression: Kollinearitet 53 Multipel regression: Kollinearitet 54 Nogle symptomer på kollinearitet Nogle af kovariaterne er stærkt korrelerede Alle kovariater i den multiple regressionsanalyse er insignifikante, men modellens samlede forklaringsværdi er signifikant og/eller R 2 er alligevel stor Variable i modellen Modellens Laveste R 2 R 2 adj p-værdi enkelt p-værdi Height og Weight 0.0033 0.21 0.40 0.35 Alle 9 variable 0.0320 0.15 0.64 0.42 Estimaterne for effekterne af andre variable ændres meget, når en enkelt variabel udelades af modellen Resultaterne er væsentligt anderledes end forventet (Tænk igennem! Oftest er det spørgsmål, der svarer til den valgte model, ikke helt det, man havde planlagt... ) Kvantificering af graden af multikollinearitet Tjek tolerance factor for hver variabel: Den må ikke være for lille! tolerance factor (TOL) for en kovariat = 1-R 2 for regression af kovariaten på de øvrige kovariater = den del af variationen i kovariaten, som ikke kan forklares af de andre kovariater lineært PROC REG DATA=pemax; MODEL PEmax=age sex height weight bmp fev1 rv frc tlc / TOL; TOL skal ganges på kovariatens varians for at finde et bud på restvariationen i kovariaten for fastholdt værdi af de andre overvej, om denne restvariation er stor nok til, at data kan bruges til at vurdere, om variablen har en effekt Multipel regression: Kollinearitet 55 Når vi tilføjer TOL, får vi en ekstra søjle: Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob > T Tolerance Intercept 1 176.05821 225.89116 0.779 0.4479. Age 1-2.54196 4.80170-0.529 0.6043 0.04581 Sex 1-3.73678 15.45982-0.242 0.8123 0.44064 Height 1-0.44626 0.90335-0.494 0.6285 0.07166 Weight 1 2.99282 2.00796 1.490 0.1568 0.02093 BMP 1-1.74494 1.15524-1.510 0.1517 0.14053 FEV1 1 1.08070 1.08095 1.000 0.3333 0.18452 RV 1 0.19697 0.19621 1.004 0.3314 0.09489 FRC 1-0.30843 0.49239-0.626 0.5405 0.05833 TLC 1 0.18860 0.49974 0.377 0.7112 0.37594 Multipel regression: Styrkeberegning 56 Stikprøvestørrelse for regressionsanalyse Simpel lineær regression: Hvis man ønsker at kunne påvise en forskel i Y på b for en enheds forskel i X med et tosidet signifikansniveau på α og en styrke på 1 β, så skal man inkludere mindst N personer, hvor N Var(Y ) Var(X) ( Uα/2 + U β Multipel regression: Skal analysen justeres for en anden kovariat Z, skal man have et bud, T X, på tolerance (TOL) for X. Formlen bliver N Var(Y ) ( ) T X Var(X) Uα/2 + U 2 β b hvor residualvariansen for Y fra en analyse med Z som forklarende variabel kan bruges som Var(Y ). (U p =(1 p)-fraktilen i en normal fordeling, eksempelvis U 2.5% =1.96, U 5% =1.645, U 10% =1.282, U 20% =0.842) b ) 2

Multipel regression: Kollinearitet 57 Hvad gør man så, når der er kollinearitet? 1. Gennemtænk grundigt, hvad den enkelte variabel står for afhængigt af hvilke af de andre mulige variable, der fastholdes (= er med i modellen) Overvej også, om responsvariablen ændrer fortolkning 2. Lav analyser af fokusvariablen med og uden justering for forskellige grupper af de andre variable og prøv at forstå forskellene i resultaterne Præsenter gerne begge/alle analyser i artiklen med fortolkning af forskellene 3. Spar eventuelt på antallet af variable for grupper af variable, der hænger sammen: Drejer det sig om ét fælles aspekt af interesse, så kan man måske nøjes med én af variablene og begrunde, hvorfor man vælger netop den 4. Fortolk med stor forsigtighed Multipel regression: Kollinearitet 58 Vigtigt: I modstrid med anbefalingen fra visse epidemiologer, så må man ikke nøjes med at præsentere univariate analyser for alle variablene! Problemet med fortolkningen forsvinder ikke af, at man tillægger hver enkelt variabel al forklaringsevnen en ad gangen. Multipel regression: Overordnede principper 59 Multipel regression: Overordnede principper 60 Nogle kilder til forkerte modelvalg: Den statistiske model bestemmes af det videnskabelige spørgsmål. Eneste undtagelse fra denne regel er fordelingsantagelserne (inkl. korrelationer), der bestemmes af data. Forsimple virkeligheden for meget, eksempelvis tro, at frasen alt andet lige giver mening (og ikke bare er en bekvem undskyldning for ikke at tænke det ordentligt igennem) tro, at det giver mening at tale om sammenhængen mellem exposure og respons, som om der kun kan eksistere ét eneste videnskabeligt spørgsmål, der involverer denne exposure og dette respons tro, at confounderne er givet ud fra exposure og respons, så man kan vælge sine kovariater uden at overveje konsekvenserne for fortolkningen

Multipel regression: Overordnede principper 61 Multipel regression: Falske dogmer og påstande 62 Nogle kilder til fejlkonklusioner/fejlfortolkninger: Glemme (ikke kunne overskue?) at gennemtænke fortolkningen af såvel exposure som respons, når man ser på sammenhængen justeret for de valgte kovariater herunder at tro, at det er lige meget, om effekten er justeret for forskellige ting i forskellige artikler Sammenligne f.eks. percentil-gruppe forskelle (f.eks. opdele ved medianen) eller forskelle svarende til 1 SD for forskellige populationer den biologiske effekt er nok ligeglad med, hvad resten af personens population gør... Falsk dogme blandt traditionelle epidemiologer: Påstand: Når man skal vurdere effekten af en forklarende variabel ( exposure ) på et bestemt outcome, så skal man så vidt muligt justere for alle confoundere. Sandhed: Nej! Man skal kun justere for de variable, som man gerne ville have kunnet holde fast og man skal kunne gennemskue, hvilken konsekvens justering for hver eneste af de inkluderede confoundere har for fortolkningen af den estimerede effekt af exposure på outcome! Multipel regression: Falske dogmer og påstande 63 Multipel regression: Falske dogmer og påstande 64 Påstand: Man må ikke inkludere mediator variable, dvs. variable, der er en del af virkningsmekanismen. Sandhed: Mediator variable er ligesom alle andre variable: Hvis man inkluderer dem, ændrer man det videnskabelige spørgsmål, der besvares ved analysen! Når man inkluderer en eller flere mediator variable, undersøger man størrelsen af den del af effekten, der ikke går via effekten på disse mediator variable, altså styrken af eventuelle andre virkningsmekanismer. Påstand: Signifikansen for den enkelte variabel bliver altid svagere, når de andre tages med. Sandhed: Ofte, men ikke altid. Nogle gange bliver signifikanserne væsentligt stærkere. NB: Pas på med at justere for variable, der ligger før i årsagskæden for den interessante exposure-variabel. At fokusere på effekten justeret for sådanne variable betyder, at man tror, det giver mening, at betydningen af en høj exposure afhænger af, hvorfor exposure er høj.

Multipel regression: SAS programmering 65 SAS kode bidder Diverse options til MODEL skal stå efter / og inden ; i MODEL specifikationen i kaldet af PROC REG, f.eks. PROC REG DATA=pemax; MODEL PEmax=age sex height weight bmp fev1 rv frc tlc / CLB CLM CLI TOL INFLUENCE ; De fleste MODEL-options kan kombineres helt frit, se SAS online manual. Link til SAS online manual http://support.sas.com/documentation/cdl/en/allprodsproc/68038/html/default/viewer.htm#procedures.htm Multipel regression: SAS programmering 66 Eksempel på program (med STORE mængder output!!) DATA Skolehelbred; SET SkoleHelbred; Hjd1_pr10pct = log(hjd1)/log(1.1); * "/log(1.1)" giver effekt pr 10%; Vgt1_pr10pct = log(vgt1/10)/log(1.1); * "Vgt/10" centrerer til 10 kg; *- AXIS1 og AXIS2 bestemmer udseendet af akserne, når de bruges i GPLOT -*; AXIS1 LABEL=(H=3) VALUE=(H=2.5) MINOR=NONE; AXIS2 LABEL=(H=3 A=90 R=0) VALUE=(H=2.5) MINOR=NONE; *- Plot af outcome mod de forklarende variable med blød "gennemsnits"kurve -*; PROC GPLOT DATA=SkoleHelbred; PLOT FedmeSc*(Hjd1_pr10pct Vgt1_pr10pct) / HAXIS=AXIS1 /* Bruger den ovenstående AXIS1 til den vandrette akse */ VAXIS=AXIS2 /* Bruger den ovenstående AXIS2 til den lodrette akse */ VREF=0 CVREF=BLACK LVREF=33; /* stiplet vandret linie gennem 0 */ SYMBOL1 CV=BLACK V=CIRCLE H=2 /* sorte cirkler i dobbeltstørrelse */ CI=RED I=SM75S /* rød, blød "gennemsnits"kurve */ MODE=INCLUDE; /* Bør være med for en sikkerheds skyld */ Multipel regression: SAS programmering 67 Multipel regression: SAS programmering 68 ODS GRAPHICS ON; PROC REG DATA=SkoleHelbred PLOTS(LABEL)=(ALL RESIDUALS(SMOOTH) DFBETAS); MODEL FedmeSc = Hjd1_pr10pct Vgt1_pr10pct / R /*residualer og prædikterede værdier*/ CLB CLM /*konfidensgrænser på parametre (CLB) og prædikteret værdi (CLM)*/ CLI /*prædiktionsgrænser*/ INFLUENCE /*Mål for observationens indflydelse*/ TOL /*Mål for kollinearitet*/ ; /* De ekstra variable kan gemmes på et nyt datasæt. Jeg har valgt navnet */ /* EkstraVariable til det nye datasæt. NB: OutputStatistics er et SAS-ord */ ODS OUTPUT OutputStatistics=EkstraVariable; /* De ekstra variable skal flettes på det originale datasæt, hvis de skal */ /* bruge til f.eks. at udelukke observationer ved sensitivitetsanalyser */ /* eller til det ekstra plot til tjek af varianshomogenitet, se nedenfor. */ DATA MedDetHele; /* PAS PÅ med MERGE. Man skal vide, hvad man gør, ellers kan det gå galt! */ MERGE SkoleHelbred EkstraVariable; resid_squared = RSTUDENT**2; /* Til det ekstra variansplot */ /* Det ekstra variansplot - kurven skal ligge vandret omkring 1, */ /* hvis den er voksende, kan man overveje at log-transformere Y. */ AXIS222 LABEL=(H=3 A=90 R=0) VALUE=(H=2.5) ORDER=(0 TO 4 BY 1); SYMBOL1 V=CIRCLE CV=BLACK H=2 I=SM75S CI=RED MODE=INCLUDE; PROC GPLOT DATA=MedDetHele; PLOT resid_squared*predicted / HAXIS=AXIS1 VAXIS=AXIS222 VREF=1 CVREF=BLACK LVREF=33; QUIT;

Multipel regression: SAS programmering 69 /*-------------------------------------------------------------------------------*/ /*-------- Test af vekselvirkning (=interaktion=effektmodifikation) ---------*/ /*-------------------------------------------------------------------------------*/ /* 1) Konstruere de grupperede variable */ PROC RANK GROUPS=3 /* Lav 3 grupper (husk: opdel altid i MINDST 3 grupper) */ DATA=SkoleHelbred OUT=MedGrupperet; /* Gemmer alle variable i datasættet MedGrupperet */ VAR Hjd1 Vgt1; /* Variable, der bruges til at lave de grupperede variable */ RANKS HjdGrp VgtGrp; /* Mine navne på de nye, grupperede variable */ /* 2) Vekselvirkningstest med HjdGrp -- se på p-værdien for HjdGrp*Vgt1_pr10pct */ PROC GLM DATA=MedGrupperet; CLASS HjdGrp; MODEL FedmeSc = Hjd1_pr10pct HjdGrp HjdGrp*Vgt1_pr10pct Vgt1_pr10pct / SOLUTION CLPARM; /* 3) Vekselvirkningstest med VgtGrp -- se på p-værdien for VgtGrp*Hjd1_pr10pct */ PROC GLM DATA=MedGrupperet; CLASS VgtGrp; MODEL FedmeSc = Vgt1_pr10pct VgtGrp VgtGrp*Hjd1_pr10pct Hjd1_pr10pct / SOLUTION CLPARM;