Eksempel Multipel regressions model Den generelle model Estimation Multipel R-i-anden F-test for effekt af prædiktorer Test for vekselvirkning

Transkript

1 1 Multipel regressions model Eksempel Multipel regressions model Den generelle model Estimation Multipel R-i-anden F-test for effekt af prædiktorer Test for vekselvirkning PSE (I17) ASTA lektion 1 / 16

2 Eksempel Eksempel Vi kigger på data fra Table 9.16 i Agresti. Disse repræsenterer målinger i de 69 kommuner i den amerikanske stat Florida. Fokus er på Graphs/ scatterplot matrix... Crime Education Urbanisation Responsen y: Crime som er kriminalitetsraten Prædiktoren x 1 : Education som er andel af befolkningen med HighScool eksamen Prædiktoren x 2 : Urbanisation som er andel af befolkningen som bor i bymæssig bebyggelse PSE (I17) ASTA lektion 2 / 16

3 Eksempel Korrelationer Der er signifikant (p= ) positiv korrelation (r=0.47) mellem Crime og Education Der er signifikant (p< ) positiv korrelation (r=0.68) mellem Crime og Urbanisation Statistics/ Summaries/ Correlation matrix... Statistics/ Summaries/ Correlation test... PSE (I17) ASTA lektion 3 / 16

4 Multipel regressions model Flere prædiktorer Både Education(x 1 ) og Urbanisation(x 2 ) er rimeligt gode prædiktorer for Crime(y). Vi vil derfor kigge på modellen y = α + β 1 x 1 + β 2 x 2 + ε Fejlene ε er en stikprøve fra en population med middelværdi nul og standardafvigelse σ y x, dvs E(ε 2 ) = σ 2 y x. Grafen for middelresponsen er mao en plan. Vi fastlægger estimater (a, b 1, b 2 ) for (α, β 1, β 2 ) vha mindste kvadraters afvigelse fra planen. Statistics/Fit models/linear model... PSE (I17) ASTA lektion 4 / 16

5 Multipel regressions model Eksempel Vi kan aflæse prediktionsligningen ŷ = x x 2 Ikke umiddelbart det man ville forvente. Nu er der tilsyneladende en negativ sammenhæng mellem y og x 1! Vi kan også aflæse standardfejl(0.4725) og tilhørende t-score(-1.235) på hældningen til Education Dette giver en p-værdi på 22%, dvs hældningen er ikke signifikant forskellig fra nul. PSE (I17) ASTA lektion 5 / 16

6 Multipel regressions model Simpsons paradox Eksemplet illustrerer Simpsons paradox. Isoleret set er Education en god prædiktor for Crime. Når vi inddrager Urbanisation, så er Crime uafhængig af Education. Urbanisation Crime Education En mulig forklaring illustreres af ovenstående graf. Urbanisation har positiv indvirkning på både Education og Crime. For en given urbaniseringsgrad er der ingen sammenhæng mellem Education og Crime. Isoleret set er Education en god prædiktor for Crime. Hvis Education er høj, så indikerer dette at Urbanisation er høj og dermed at Crime er høj. PSE (I17) ASTA lektion 6 / 16

7 Den generelle model Regressions model Vi står med en stikprøve af størrelse n, hvor vi har målt Responsen y. k potentielle prædiktorer x 1, x 2,..., x k. Multipel regressionsmodel: y = α + β 1 x 1 + β 2 x β k x k + ε Fejlene ε er en stikprøve fra en population med middelværdi nul og standardafvigelse σ y x. Den systematiske del af modellen, dvs når alle fejl er nul, siger at middelresponsen er en lineær funktion af prædiktorerne: E(y x 1, x 2,..., x k ) = α + β 1 x 1 + β 2 x β k x k Symbolet E bruges her til at betegne middelværdi(expectation). PSE (I17) ASTA lektion 7 / 16

8 Den generelle model Fortolkning af parametre E(y x 1, x 2,..., x k ) = α + β 1 x 1 + β 2 x β k x k Parameteren α er Intercept, som svarer til middelresponsen, når alle prædiktorer er lig med nul. Parametrene (β 1, β 2,..., β k ) kaldes partielle regressions koefficienter. Kig på x 1 og fasthold de andre prædiktorer. Dermed en linie med hældning β 1, som beskriver ændringsraten i middelresponsen, når x 1 ændres. Ændringsraten β 1 afhænger ikke af værdien af de øvrige prædiktorer. Vi vil sige at prædiktorerne ikke vekselvirker. Tilsvarende for de øvrige partielle regressionskoefficienter. Et eksempel på en model med vekselvirkning er E(y x 1, x 2 ) = α + β 1 x 1 + β 2 x 2 + β 3 x 1 x 2 = α + β 2 x 2 + (β 1 + β 3 x 2 )x 1 Når vi fastholder x 2 har linien hældning β 1 + β 3 x 2, som er afhængig af x 2. PSE (I17) ASTA lektion 8 / 16

9 Estimation Estimation af model Estimatet (a, b 1, b 2,..., b k ) for (α, β 1, β 2,..., β k ) fastlægges ved at minimere kvadratsummen af fejlene. På basis af dette opstilles prædiktionsligningen ŷ = a + b 1 x 1 + b 2 x b k x k Afstanden mellem model og data måles ved SSE = e 2 = (y ŷ) 2 :Sum of Squared Errors. Vi estimerer σ y x ved størrelsen s y x = SSE n k 1 I stedet for n divideres SSE med frihedsgradstallet df = n k 1. Teori viser, at dette er fornuftigt. Bl.a. får man et unbiased estimat for σ 2 y x. df er bestemt ved stikprøvestørrelsen minus antallet af parametre i regressionsmodellen. Aktuelt har vi k + 1 parametre: 1 intercept og k hældninger. PSE (I17) ASTA lektion 9 / 16

10 Multipel R-i-anden Multipel R 2 Vi vil sammenligne to modeller til at forudsige responsen y. Model1: Vi udnytter ikke kendskabet til prædiktorerne, og bruger ȳ til at forudsige en y-måling. Den tilhørende prædiktionsfejl bliver TSS = (y ȳ) 2 og kaldes Total Sum of Squares Model2: Vi bruger den multiple prædiktionsligning til at forudsige y, dvs prædiktionsfejlen er SSE = (y ŷ) 2 Vi definerer da den multiple determinationskoefficient R 2 = TSS SSE TSS dvs den procentvise reduktion i prædiktionsfejlen, når vi inddrager x 1, x 2,..., x k som forklarende variable. Det kan vises at den multiple korrelation R = R 2 er korrelationen mellem y og ŷ. PSE (I17) ASTA lektion 10 / 16

11 Multipel R-i-anden Vi kan aflæse Prædiktionsligning ŷ = x x 2 Estimat for σ y x (Residual standard error) s y x = med df = 67 3 = 64 frihedsgrader. Multipel R 2 = , dvs 47% af variationen i responsen kan forklares af prædiktorerne. Estimatet b 1 = har standardfejl (Std. Error) se = med tilhørende t-score(t value) t = = PSE (I17) ASTA lektion 11 / 16

12 Multipel R-i-anden Eksempel Hypotesen H 0 : β 1 = 0 har t-scoren t = 1.235, hvilket betyder at b 1 ikke er signifikant forskellig fra nul, idet p-værdien(pr(> t )) er 22%. Det betyder at vi bør udelade Education som prædiktor. Vores endelige model bliver en simpel lineær regression: Forklaringsgraden vil altid falde, når vi vælger en enklere model. Aktuelt ses at R 2 = 46%, hvor vi før have 47%. Men faldet er ikke signifikant. PSE (I17) ASTA lektion 12 / 16

13 F-test for effekt af prædiktorer F-test Vi betragter hypoten H 0 β 1 = β 2 =... = β k = 0 mod alternativet, at mindst en af disse er forskellig fra nul. Som teststatistik anvendes F = (n k 1)R2 k(1 R 2 ) Store værdier af R 2 giver store værdier af F, hvilket peger på alternativet. Dvs når vi har beregnet den observerede værdi F obs, så skal vi finde sandsynligheden for at et nyt eksperiment giver en større værdi. Det kan vises at vores referencefordeling bliver (kan approksimeres med) en såkaldt F-fordeling med frihedsgrader df 1 = k og df 2 = n k 1. PSE (I17) ASTA lektion 13 / 16

14 F-test for effekt af prædiktorer Eksempel Vi vender tilbage til crime og prædiktionsligningen ŷ = x x 2, hvor n = 67 og R 2 = df 1 = k = 2 idet vi har 2 prediktorer. Dermed er df 2 = n k 1 = = 64. Så vi kan beregne F = (n k 1)R2 k(1 R 2 ) = Distributions/Continuous distributions/f distribution/f probabilities Vi skal altså vurdere F = i den relevante F-fordeling. Vi opnår p-værdi= Alle disse størrelser kan aflæses i PSE (I17) ASTA lektion 14 / 16

15 Test for vekselvirkning Vekselvirkning Vi vender tilbage til crime, hvor vi udelod Education, som prædiktor. Men kunne det tænkes at Education og Urbanisation i kombination kunne forklare noget? Vi vil undersøge dette vha modellen E(y x 1, x 2 ) = α + β 1 x 1 + β 2 x 2 + β 3 x 1 x 2 hvor vi har udvidet med en eventuel effekt af produktet x 1 x 2. Når vi kigger p-værdier i tabellen er intet signifikant på niveau 5%!. Men F-statistic fortæller at prædiktorerne samlet set har en signifikant prædiktionsevne. PSE (I17) ASTA lektion 15 / 16

16 Test for vekselvirkning Eksempel Hvorfor er den meget signifikante virkning af x 2 forsvundet???? Fordi prædiktorerne x 1 og x 1 x 2 kan forklare det samme. Tidligere havde vi kun x 1 som alternativ forklaring - og det var ikke nok. Fænomenet kaldet multikollinearitet og illustrerer at vi kan have forskellige modeller med lige gode prædiktive egenskaber. Aktuelt vil vi vælge modellen med x 2, idet denne er enklere. Generelt kan det dog være svært at vælge model. Eksempelvis kan højde og vægt være gode prædiktorer, men vi kan udelade en af dem. Hvilken? PSE (I17) ASTA lektion 16 / 16