Hvad skal vi lave? Model med hovedvirkninger Model med vekselvirkning F-test for ingen vekselvirkning. 1 Kovariansanalyse. 2 Sammenligning af modeller

Transkript

1 Hvad skal vi lave? 1 Kovariansanalyse Model med hovedvirkninger Model med vekselvirkning F-test for ingen vekselvirkning 2 Sammenligning af modeller 3 Mere generelle modeller PSE (I17) ASTA lektion 1 / 16

2 Vi skal studere datasættet i Agresti Tabel 13.1, hvor vi har en stikprøve med samhørende målinger af 3 variable y=income: Numerisk variabel, som er årlig indkomst. Vi skal betragte denne som respons. x=education: numerisk prædiktor, som angiver antal år under uddannelse z=race: forklarende factor med niveauer b(black), h(hispanic) og w(white). Vi vil mao gerne forklare variationen i indkomst ud fra prædiktorerne uddannelsesniveau og race. Man starter altid med noget grafik. Graphs/Scatterplot... hvor vi vælger Plot by groups... PSE (I17) ASTA lektion 2 / 16

3 Et mudret billede, men tendens til stigende indkomst med stigende uddannelse. Tendenslinierne for de tre racer er forskellige. Men er der tale om en signifikant forskel? Eller kan forskellen blot tilskrives sampling variation? PSE (I17) ASTA lektion 3 / 16

4 Model med hovedvirkninger Dummy kodning. Vi skal først kigge på modellen uden vekselvirkning, dvs effekten af uddannelse er ens for alle racer, hvilket svarer til parallelle linier. Vi skal også indføre dummykodning af faktoren z: z 1 = 1 hvis race=b og nul ellers z 2 = 1 hvis race=h og nul ellers som fastlægger regressionsmodellen E(y x, z) = α + βx + β 1 z 1 + β 2 z 2 hvilket giver parallelle racespecifikke regressionslinier w:(z 1 = 0, z 2 = 0) E(y x) = α + βx b:(z 1 = 1, z 2 = 0) E(y x) = α + β 1 + βx. β 1 er forskellen i Intercept mellem sort og hvid. h:(z 1 = 0, z 2 = 1) E(y x) = α + β 2 + βx. β 2 er forskellen i Intercept mellem hispanic og hvid. PSE (I17) ASTA lektion 4 / 16

5 Model med hovedvirkninger Vi vil fortælle R at vi ønsker w som reference for race. Default baseres på leksikografi, dvs levels ordnes (b,h,w) og b bliver reference. Data/Manage variables in active dataset/ Compute new variable... Når vi anvender + i modelformlen er der additive effekter af educ og Race, dvs en model uden vekselvirkning. PSE (I17) ASTA lektion 5 / 16

6 Model med hovedvirkninger Den fælles hældning til educ estimeres til ˆβ = , som med p-værdi= er meget signifikant forskellig fra nul. Altså, der er en klar positiv indvirkning af educ på income. Estimatet for w-intercept er ˆα = , hvilket ikke er signifikant forskelligt fra nul hvis vi tester på niveau 5%. Forskellen mellem b- og w-intercept((race.t.b) er ˆβ 1 = , hvilket er signifikant med p-værdi=1.74%. Der er ikke signifikant forskel på h- og w-intercept. PSE (I17) ASTA lektion 6 / 16

7 Agresti - summary Kovariansanalyse Model med hovedvirkninger PSE (I17) ASTA lektion 7 / 16

8 Model med vekselvirkning Interaction Vi skal udvide regressionsmodellen, så vi inkluderer vekselvirkning mellem x og z 1 hhv z 2. E(y x, z) = α + βx + β 1 z 1 + β 2 z 2 + β 3 z 1 x + β 4 z 2 x hvilket giver en regressionslinie for hver race w:(z 1 = 0, z 2 = 0) E(y x) = α + βx b:(z 1 = 1, z 2 = 0) E(y x) = α + β 1 + (β + β 3 )x. β 1 er forskellen i Intercept mellem sort og hvid, mens β 3 er forskellen i hældning mellem sort og hvid. h:(z 1 = 0, z 2 = 1) E(y x) = α + β 2 + (β + β 4 )x. β 2 er forskellen i Intercept mellem hispanic og hvid, mens β 4 er forskellen i hældning mellem hispanic og hvid PSE (I17) ASTA lektion 8 / 16

9 Model med vekselvirkning Statistics/Fit models/linear model... Når vi anvender * i modelformlen inkluderer vi vekselvirkning mellem educ og Race. Forskellen i hældning mellem b og w(educ:race[t.b]) estimeres til ˆβ 3 = Med p-værdi=9.33% er der ingen signifikant forskel. Der er heller ikke signifikant hældningsforskel mellem h og w. PSE (I17) ASTA lektion 9 / 16

10 Model med vekselvirkning Der er ikke signifikant forskel på hældningen af rød og grøn linie. Der er ikke signifikant forskel på hældningen af sort og grøn linie. Mao er der næppe ikke vekselvirkning mellem educ og Race. PSE (I17) ASTA lektion 10 / 16

11 F-test for ingen vekselvirkning Test for ingen interaction På samme måde som vi testede om en given prædiktor var signifikant kan vi lave et F-test for om der er signifikant vekselvirkning. Model/Hypothesis tests/anova table... F-testet for ingen vekselvirkning educ:race har F-værdi=1.465, hvilket på ingen måde er signifikant med en p-værdi=23.769%. Man kan i øvrigt også se at hovedvirkningen af Race er svag. PSE (I17) ASTA lektion 11 / 16

12 Sammenligning af modeller Modelhierarki Liste af modeller Interaction: Den mest generelle model med hovedvirkninger educ og Race og vekselvirkning educ:race. MainEffects: Modellen hvor der er additive virkninger af educ og Race. educeff: Model hvor der kun er effect af educ. RaceEff: Model hvor der kun er effect af Race. Vi kan - svarende til Agresti Table lave F-test til 3 parvise sammenligninger af modeller. PSE (I17) ASTA lektion 12 / 16

13 Sammenligning af modeller Models/ Hypothesis tests/ Compare two models... Vi sammenligner maineffects og Interaction, dvs undersøger om der er signifikant vekselvirkning educ:race. Vi genkender F = med p-værdi=23.77%, dvs Model 2 er ikke signifikant bedre end Model 1. Altså: ingen educ:race vekselvirkning. PSE (I17) ASTA lektion 13 / 16

14 Sammenligning af modeller Tilsvarende kan vi sammenligne educeff og MainEffects. Dvs vi undersøger om effekten af Race kan udelades. Om nogen - så er effekten af Race svag med p-værdi=5.292%. NB: Notation i R for SSE(Sum of Squared Errors) er RSS(Residual Sum of Squares). Aktuelt anfører Agresti i Table13.10 at SSE = for educeff (Bivariate Regression). Den korrekte værdi er jvf ovenfor RSS = Til sidst sammenligner vi RaceEff og MainEffects. Dvs vi undersøger om effekten af educ kan udelades. Der er en klar effekt på income af educ. P-værdi= PSE (I17) ASTA lektion 14 / 16

15 Mere generelle modeller Metoderne generaliserer til modeller med flere end 2 prædiktorer. Vi vender tilbage til datasættet Ericksen, hvor vi studerer responsen crime. Modellen har 3 prædiktorer med hovedvirkninger og inkluderer vekselvirkning mellem city og highschool vekselvirkning city og poverty. PSE (I17) ASTA lektion 15 / 16

16 Mere generelle modeller Der er ikke signifikant(p-værdi= %) vekselvirkning mellem city og highschool. Dvs effekten af uddannelse på kriminalitet er ens i storbyer og stater. Der er kraftig(p-værdi=0.2773%) vekselvirkning mellem city og poverty. Når vi korrigerer for effekten af uddannelse, så er der i staterne faktisk ingen indflydelse af fattigdom på kriminalitet, mens der i storbyerne er en positiv sammenhæng mellem fattigdom og kriminalitet. PSE (I17) ASTA lektion 16 / 16