Eksamen i statistik 2009-studieordning

Kandidatuddannelsen i Folkesundhedsvidenskab Det sundhedsvidenskabelige fakultet Københavns Universitet 21.12.2010 Eksamen i statistik 2009-studieordning Underviser Svend Kreiner Udarbejdet af eksamens nr. 28 og 36 I samarbejde med 35 og 46 1

Synopsis Motivation er en latent variabel der ikke kan måles direkte, da det er et multifacetteret begreb, hvorfor dette måles på en multi-item skala. Data til denne synopsis er hentet fra en undersøgelse omhandlende arbejdsmiljø for socialrådgivere og kommunale sagsbehandlere i 12 forskellige anonymiserede kommuner. Vi ønsker at undersøge, hvorvidt motivationsskalaen indeholder Differentiel Item Function (DIF), det vil sige, om nogle subgrupper af respondenter svarer anderledes på enkelte items end resten af respondenterne. Hvis ikke der er DIF, vil items være betinget uafhængig af baggrundsvariablerne, og dermed vil ét aspekt af begrebsvaliditet være opfyldt. Herefter ønsker vi ved hjælp af generelle lineære analyser, at undersøge hvilke af de målte variable der har betydning for motivation og efterfølgende estimere hvilken betydning disse variabler har. Deskriptiv statistik Vi udfører deskriptiv statistik på alle de variabler, som indgår i det udleverede datasæt. Der indgår 895 respondenter i undersøgelsen. Missings kodes i SPSS til 99. Vi er opmærksomme på, at der i flere kommuner er meget få respondenter, hvilket kan få betydning for senere analyseresultaters validitet. Yderligere er fordelingen af mænd og kvinder henholdsvis 16,1 % og 83,7 %, hvilket også kan få betydning for fortolkningen af resultaterne. I aldersgruppen 18 år eller yngre er der kun én respondent og denne kategori slår vi derfor sammen med 19-29 år. Som forventet er der mange flere heltidsansatte (79,1 %) end deltidsansatte (20,2 %). Svarfordelingen i de fire kategorier indenfor hver af de fem items er skævt fordelt, med få personer i enkelte kategorier. Dette har dog ingen betydning, da vi kun benytter items til at danne motivationsskalaen og til DIF-analyser, hvor hvert item dikotomiseres til JA/NEJ- kategorier. I fortolkningsøjemed skal vi være opmærksomme på, at der er en stor overvægt af personer, der har været ansat 0-10 år og at denne variabel er ikke normalfordelt. Dette har dog ikke betydning for analysen, da det udelukkende er den afhængige variabel, der skal være normalfordelt for at opfylde antagelserne i generelle lineære modeller. I spørgsmålet om de forskellige variablers betydning for motivation, er det motivationsskalaen, der er den afhængige variabel. Fordelingen af den beregnede motivationsskala er som følger i figur 1: 2

Figur 1 Motivation ser umiddelbart ud til at være skævt fordelt mod venstre, hvilket kan tyde på, at data ikke er normalfordelt. Det er dog den betingede fordeling af y der skal være normalfordelt, hvilket vi ikke kan se ud fra ovenstående. Dette undersøges senere. Til yderligere beskrivelse af datamaterialet, har tester vi marginale sammenhænge mellem de forskellige baggrundsvariable. Her finder vi, at køn har højsignifikant betydning for, hvilken kommune man er ansat i (p = 0,008). Det er svært at sige hvordan sammenhængen er, da kommunerne er anonymiserede. Kvinder er 5,1 gange mere tilbøjelige til at være deltidsansat end mænd (p=0,000), hvilket ligeledes er højsignifikant. Der testes marginale sammenhænge mellem baggrundsvariablerne og motivationsskalaen. Køn og anciennitet har marginal sammenhæng med motivation og disse test er derfor de eneste der fremstilles her i tabel 1-4: Køn Descriptives Motivationsskala 95% Confidence Interval for Std. Std. Mean N Mean Deviation Error Lower Bound Upper Bound Minimum Maximum MAND 144 14,81 2,715,226 14,37 15,26 8 20 KVINDE 740 15,57 2,666,098 15,37 15,76 5 20 Total 884 15,44 2,687,090 15,27 15,62 5 20 Tabel 1 3

Independent Samples Test Levene's Test for Equality of Variances t-test for Equality of Means 95% Confidence Sig. Interval of the (2- Mean Std. Error Difference F Sig. t df tailed) Difference Difference Lower Upper Motivationsskala Equal variances assumed,148,700-3,095 882,002 -,75372,24353-1,23169 -,27574 Equal - 200,333,003 -,75372,24655-1,23988 -,26756 variances 3,057 not Tabel 2 assumed Det ses af outputtet, at kvinders motivationsgennemsnit er 15,57 mens mænds er 14,81 og denne forskel er højsignifikant med en tilhørende p-værdi = 0,002. Dog skal man huske, at der er mange flere kvinder end mænd i undersøgelsen hvilket kan skævvride resultaterne. Anciennitet Coefficients a Model Unstandardized Standardized Coefficients Coefficients B Std. Error Beta t Sig. 1 (Constant) 15,233,125 121,713,000 Antal år på nuværende,021,009,078 2,294,022 arbejdsplads a. Dependent Variable: Motivationsskala Tabel 3 Det ses af tabel 3, at for hvert ekstra år medarbejderne har været ansat øges motivationen med 0,021 enheder. Sammenhængen er moderat signifikant (p = 0,022). Indenfor variablerne kommune, køn, alder, heltid/deltid og overarbejde finder vi ved Levene s test for homogenitet at der er varianshomogenitet, da alle p-værdier er > 0,05. 4

Differential Item Function DIF undersøger vi ved hjælp af logistisk regression. Først laver vi test for hver dikotomiseret item som afhængig variabel med motivationsskalaen og alle baggrundsvariablerne som uafhængige variabler. Dernæst foretages test for hvert item, med motivationsskalaen og hver af baggrundsvariablerne som uafhængige variabler. I alt foretager vi 35 test (5 + 6*5) og derfor vælger vi et signifikansniveau på 1 % som det kritiske niveau, for at minimere risikoen for type 2 fejl. Vi finder ingen items der udviser DIF på signifikansniveau 1 %. Ved item Jeg ville vælge noget mere interessant hvis jeg havde mulighed for det finder vi, at anciennitet er signifikant på niveau 5 % (p =0,026), men vi vurderer, at motivationsskalaen ikke indeholder DIF. Vi foretager derfor de efterfølgende analyser med en motivationsskala der indeholder alle fem items. Generelle lineære analyser Vi ønsker at undersøge hvilke variabler der har betydning for medarbejdernes motivation og til dette formål benytter vi baglæns modelsøgning. Motivation er en kontinuert skala og da vi både har kontinuerte og kategorisk uafhængige variabler, foretager vi modelsøgning ved hjælp af generel lineær regression (ANCOVA). For at bruge denne analyse skal der være lineær sammenhæng mellem den afhængige variabel og de kontinuerte uafhængige variabler. I dette datasæt er anciennitet den eneste kontinuerte afhængige variabel og vi laver et xy-plot, for at undersøge, om det er den lineære sammenhæng der bedst beskriver data: Figur 2 Det ser umiddelbart ud til at være den lineære sammenhæng der beskriver data bedst. Det underbygges af R 2 -værdierne som alle er 0,006, at det kvadratiske og kubiske led ikke bidrager med noget ekstra i forklaringen af variationen i y, og derfor medtages disse led ikke i den mættede model i modelsøgningen. 5

I fortolkningsøjemed finder vi det mest optimalt at have den yngste aldersgruppe som referencegruppe og derfor vender vi denne variabel. Det samme gør sig gældende for variablerne overarbejde og heltid/deltid, hvor vi vælger, at det er dem der sjældent har overarbejde og dem der er heltidsansatte der er referencegruppe. Vi foretager en baglæns modelsøgning, ud fra det hierarkiske princip, hvor alle hovedled og tovejsinteraktioner indgår i den mættede model. Leddene fjernes i følgende rækkefølge: Kommune*anciennitet, heltid*anciennitet, kommune*heltid, køn*heltid, alder*heltid, alder*anciennitet, heltid*overarbejde, kommune*overarbejde, alder*køn, overarbejde*køn, overarbejde*anciennitet, alder*overarbejde, overarbejde, alder*kommune, alder og vi ender ud med nedenstående: Dependent Variable:Motivation Tests of Between-Subjects Effects Source Type III Sum of Squares df Mean Square F Sig. Corrected Model 468,284 a 26 18,011 2,609,000 Intercept 37550,494 1 37550,494 5438,423,000 Kommune 197,729 11 17,975 2,603,003 Køn 18,763 1 18,763 2,717,100 Heltid_vendt 45,751 1 45,751 6,626,010 Ancien 2,452 1 2,452,355,551 Køn * Ancien 60,098 1 60,098 8,704,003 Kommune * Køn 154,888 11 14,081 2,039,022 Error 5779,206 837 6,905 Total 211505,000 864 Corrected Total 6247,490 863 a. R Squared =,075 (Adjusted R Squared =,046) Tabel 4 Modellen bliver dermed: Motivation = α + Kommune*β + Køn*β + Anciennitet*β + Heltid*β + Køn*Anciennitet*β + Kommune*Køn*β. 6

For denne model gælder, at der for den kategoriske variabel, kommune, indgår en β-værdi for hver dummyvariabel og en β- værdi for hver kombination af interaktionsleddene. Adjusted R 2 = 0,046 er et udtryk for at modellen kan forklare 4,6 % af variationen i motivationsskalaen, hvilket er en lav forklaringsgrad. Inden for folkesundhedsvidenskab er det dog sjældent at man ser meget høje R 2 - værdier. Vi undersøger ved likelihoodratio-test, om den model vi finder frem til, er sufficient, forstået på den måde, at vi har simplificeret modellen uden at eliminere for meget data. Først finder vi -2*likelihood for de to modeller, den mættede og den aktuelle. Da kravet for dette test er, at de to modeller skal indeholde lige mange respondenter, findes likelihoodratio ved at inddrage de samme personer i den aktuelle model, som indgår i den mættede. Dette er et ensidet test og testens hypoteser er følgende: H 0 : Ingen forskel i den mættede og den aktuelle models forklaring af motivation. H A : Den mættede model forklarer motivation bedre end den aktuelle model. -2*likelihood: n*[log(2π*rss/n)+1]. Vi aflæser i outputs: Den mættede model: 864*[log(2π*4808,700/864)+1] = 1344.33 Den aktuelle model: 864* [log(2π*5779,206/864)+1] = 1225,65 Frihedsgrader aflæses for de to modeller: Den mættede model: DF = 147 Den aktuelle model: DF = 26 Differencen for de to -2*likehood-værdier og de to frihedsgrader indsættes i en udleveret syntaksfil der beregner loglikelihoodratio, og der fås: Chi df p-værdi 118,7 121 0,54267 Tabel 5 Da testet er ensidet divideres p-værdien med to. Testet er insignifikant med (p= 0,271335) hvilket betyder, at vi ikke har elimineret for mange variabler i forklaringen af motivation i den aktuelle model. 7

Vi undersøger nu, om forudsætningerne for den fundne model er opfyldt. Udover det krav som ofte er gældende ved statistiske analyser, at data skal være uafhængigt indsamlet, gælder følgende forudsætninger for ANCOVA: Linearitet: y skal afhænge lineært af x Normalitet: y givet x skal være normalfordelt: residualerne skal være normalfordelt Varianshomogenitet: residualerne skal have samme varians for alle x Linearitet Vi så i xy-plottet for anciennitet og motivation i figur 2, at det var den lineære linje der beskrev sammenhængen bedst. Det xy-plot tager dog ikke højde for de andre variable i modellen, så vi er nødt til også at vurdere antagelsen om linearitet ud fra et residualplot, hvor de standardiserede residualer er tegnet op mod de forventede værdier: Figur 3 Det ser ud til at residualerne varierer tilfældigt om 0 og dermed er antagelsen om linearitet opfyldt. Normalfordeling Om residualerne er normalfordelt kan både vurderes ud fra ovenstående residualplot, ud fra et QQplot og ved hjælp af et Kolmogorov-Smirnov-test. I figur 3 ser der ud til at være en overvægt af antallet af punkter der ligger under -1,96 på y-aksen, i forhold til antallet af punkter der ligger over 1,96. Ved en normalfordeling vil 2,5 % af residualerne ligge over 1,96 på y-aksen og 2,5 % under - 8

1,96. Der ser umiddelbart ud til at være mange punkter i ekstremerne, hvilket indikerer manglende normalfordeling, hvilket vi også så i histogrammet figur 1. Vi tegner nu et QQ-plot med de standardiserede residualer tegnet op mod den teoretiske linje residualerne ville have, hvis der var normalfordeling: Figur 4 Der er i plottet en tendens til afvigelse fra den teoretiske normalfordeling i den ene ende, hvilket også stemmer overens med de forrige resultater. Endelig foretager vi et Kolmogorov-Smirnov-test, hvor det testes, om fordelingen af residualer afviger mere fra den teoretiske normalfordeling, end der kan forklares ved tilfældigheder: Tabel 6 Testet er ikke signifikant, (p= 0,192) og vi tror mere på testet end de grafiske fremstillinger, da testet er stærkere. Antagelsen om normalfordeling er derfor opfyldt i den fundne model. Varianshomogenitet Ved residualplottet kan varianshomogeniteten også undersøges.. Det ser ikke ud til, at residualerne varierer lige meget om 0 for alle x, da outliers er med til at antyde tragtform. Vi så i de indledende marginaltests, at der er varianshomogenitet inden for alle de uafhængige variabler. I forbindelse med den generelle lineære analyse foretog vi også Levene s test for varianshomogenitet mellem variablerne, som vises her: 9

Levene's Test of Equality of Error Variances a Dependent Variable:Motivation F df1 df2 Sig. 1,270 39 824,128 Tests the null hypothesis that the error variance of the dependent variable is equal across groups. a. Design: Intercept + Kommune + Køn + Heltid_vendt + Ancien + Køn * Ancien + Kommune * Køn Tabel 6 Da testet er insignifikant (p = 0,128), er der ens varians mellem variablerne i modellen. Således er også kravet om varianshomogenitet opfyldt, og vi kan derfor acceptere modellen til beskrivelse af hvorledes motivation afhænger af baggrundsvariable. Vi har dog ikke oplysninger nok om dataindsamlingen til at kunne vurdere, hvorvidt data er blevet indsamlet uafhængigt. Da antagelserne er opfyldt egner modellen sig til prædiktion. Effektestimering Vi har to interaktionsled, Køn*Anciennitet og Kommune*Køn. Der er kun 144 mænd i undersøgelsen og når disse fordeles på de 12 kommuner vil det give usikre estimaterne. Vi beslutter derfor, at stratificere på køn og kun fortolke estimaterne for kvinder, hvilket vi mener der kan argumenteres for at gøre, da kvinder også er hyppigst repræsenteret i de undersøgte job grupper. Vi får følgende regressionslinje for kvinder: Motivation: 15,738-0,490*β Kommune 1-0,452*β Kommune 2-0,578*β Kommune 3 + 0,071*β Kommune 4-0,375*β Kommune 5-0,646*β Kommune 6-0,286*β Kommune 7-1,060*β Kommune 8 + 0,370*β Kommune 9-0,328*β Kommune 10 + 0,256*β Kommune 11-0,635*β deltid + 0,030*β anciennitet. Det er svært at sige noget om de enkelte kommunernes effekt på motivation, da de er anonymiseret. Vi ved f.eks. ikke, hvorvidt de eksempelvis er land- eller bykommuner, vi kan kun sige, at motivationen er højere i kommune 4, 9 og 11 end i referencekommunen 12. Vi så i den deskriptive statistik, at der var få respondenter i disse kommuner. I de resterende kommuner er motivationen højere end i referencekommunen 12. De deltidsansatte har 0,635 lavere motivationsscore end heltidsansatte. For hvert år ekstra kvinderne har været ansat, stiger motivationsscoren med 0,030. 10

Når vi stratificerer for køn får vi en ny R 2 -værdi for den del af modellen der kun er for kvinder. Den nye Adjusted R 2 værdi= 0,018, og det betyder at vi ud fra modellen kun kan forklare 1,8 % af variationen i motivationsskalaen. Denne R 2 -værdi forklarer mindre end den tidligere model, hvilket betyder at modellen får en mindre forklaringsgrad, når vi stratificerer. Årsagen til dette er at modelsøgningen er foretaget på baggrund af det samlede datasæt og en bedre R 2 -værdi kunne eventuelt opnås hvis vi foretog en modelsøgning som kun er baseret på de kvindelige respondenter. Hvis dette blev gjort kunne det ligeledes tænkes, at den endelige model ville indeholde andre hovedled og interaktionsled end den model vi har fundet frem til nu. Diskussion Vi fandt at motivationsskalaen ikke har problemer med DIF, hvilket betyder at alle items er betinget uafhængige af baggrundsvariablerne, hvorfor et af aspekterne af begrebsvaliditet er opfyldt. Dette siger imidlertid ikke noget om de andre aspekter af validitet og reliabilitet. I det vi arbejder med en latent variabel er kriterievaliditet særlig vigtigt. Dette undersøger vi ikke, da vi ikke har nogen golden standard at sammenligne med. Vi mener motivation er et multifacetteret begreb og det kan diskuteres hvorvidt de fem valgte items er dækkende for dette begreb. I studiet er spørgsmålene om motivation en del af en undersøgelse omhandlende arbejdsmiljø. Vi mener ikke, at disse fem items fuldt ud beskriver motivation da en motivationsskala målt i forhold til arbejdsmiljø for eksempel burde inddrage kollegiale forhold. Vi har valgt én ud af mange mulige modeller til at beskrive hvordan motivation afhænger af de øvrige variable. Vi har overvejet flere måder at konstruere modellen på. Som allerede beskrevet kunne vi have valgt at lave en modelsøgning kun for kvinder. Vi gjorde os fra starten overvejelser om hvorvidt vi ville inddrage variablen kommune i vores modelsøgning, idet datasættet er lille i forhold til at skulle inddeles i 12 subgrupper. Desuden er kommunerne anonymiserede, hvorfor vi ikke kan sige noget om de enkelte kommuners karakteristika i forhold til motivation. Vi valgte dog at bibeholde variablen kommune i modelsøgningen, da den i alle de afprøvende modelsøgninger viste sig at være signifikant. Vi kunne ligeledes have valgt at anlægge et mere epidemiologisk perspektiv på analysen, ved at konstruere et Directed Acyclic Graph (DAG), og ud fra dette beslutte hvilke variable der skulle inddrages i den mættede model. Årsagen til at vi ikke har konstrueret et DAG er, at analyserne til testningen af den opstillede kausale kæde ligger uden for pensum. 11

De mange muligheder for modelkonstruktion vidner om at det er problematisk at finde én god og sigende model. Den model vi har fundet frem til har en lav forklaringsgrad, der gør den til en dårlig model. De mange estimater bygger på forholdsvis få respondenter, hvilket ydermere betyder at modellen er usikker. 12