Vurdering af VOV-spørgeskemaet som måleinstrument skala til måling af virksomheders efterlevelse af formelle arbejdsmiljøkrav

Transkript

1

2

3 Vurdering af VOV-spørgeskemaet som måleinstrument skala til måling af virksomheders efterlevelse af formelle arbejdsmiljøkrav Kim Lyngby Mikkelsen Betina Holbæk Pedersen Lea Sell Hans Sønderstrup-Andersen Thomas Fløcke Det Nationale Forskningscenter for Arbejdsmiljø, København 2009

4 NFA-rapport Vurdering af VOV-spørgeskemaet som måleinstrument skala til måling af virksomheders efterlevelse af formelle arbejdsmiljøkrav Kim Lyngby Mikkelsen Betina Holbæk Pedersen Lea Sell Hans Sønderstrup-Andersen Thomas Fløcke ISBN: København 2009 Det Nationale Forskningscenter for Arbejdsmiljø Lersø Parkallé København Ø Tlf.: Fax: E-post: Hjemmeside: 2

5 Konklusion Som det også var formålet, har undersøgelsen givet mulighed for at vurdere validiteten af VOV II telefoninterviewdata på baggrund af VOV II arbejdsstedsbesøgsdata. Overensstemmelse mellem interviewdata og besøgsdata var moderat ved krydstabuleringerne af fire udvalgte spørgsmål enkeltvis, mens der med sumskalaen baseret på de fire spørgsmål fremstod en stærk statistisk signifikant sammenhæng mellem de to målemetoder. Krydstabuleringens delvise overensstemmelse udmønter sig i en overvurdering henholdsvis undervurdering i forhold til data fra arbejdsstedsbesøget. Overvurderingen er mest markant i spørgsmålet om, hvorvidt virksomhederne følger op på igangsatte arbejdsmiljøforbedringer (43 %) og mindst markant i spørgsmålet om at have en skriftlig handlingsplan (19 %). Undervurderingen er mest markant i spørgsmålet om en skriftlig handlingsplan (39 %) og mindst markant i spørgsmålet om at have en skriftlig APV (18 %). Sandsynligvis skyldes overvurderingen og undervurderingen, at der i virksomhederne hersker stor uklarhed om kriterierne for opfyldelse af kravene til APV, handlingsplan, opfølgning og tidsfrister, hvilket peger på følgende overvejelser: Der ligger formentlig en arbejdsopgave for myndighederne i at beskrive kriterierne for efterlevelse af de formelle arbejdsmiljøkrav på en for virksomhederne let forståelig måde. Samtidig kunne spørgeskemaspørgsmålene også have været formuleret med større klarhed, således at den interviewede virksomhedsrepræsentant har vished for, hvilke kriterier en APV og handlingsplan mm. skal imødekomme i henhold til arbejdsmiljøloven. Sumskalaens stærkere sammenhæng kommer til udtryk i, at data fra telefoninterview og arbejdsstedsbesøg ikke udviser statistisk signifikante forskelle i tre ud af de i alt fire grupper af scorer. Forskellen er at finde blandt de virksomheder, som selv angiver at opfylde et enkelt kriterium ud af fire mulige, og som både overvurderer (24 %) og undervurderer (55 %) sig selv mest. I forlængelse af konstruktionen af sumskalaen blev skalaens psykometriske egenskab som forklaringskraft for efterlevelse af de formelle, generelle arbejdsmiljøkrav testet, hvilket viste, at endimensionaliteten baseret på spørgeskemadata er acceptabel, ligesom reliabiliteten herfor er god. 3

6 Det vurderes på baggrund af undersøgelsen, at resultaterne fra VOV II spørgeskemaet vedrørende efterlevelsen af de formelle arbejdsmiljøkrav er valide i det omfang, de anvendes til generelle overordnede overvågningsformål på branche- og virksomhedsstørrelsesniveau. 4

7 Indledning Tidligere undersøgelser af overvågningsdata vedrørende virksomhedernes forebyggende aktiviteter på arbejdsmiljøområdet (VOV I, VOV II og VOV III) har især haft fokus på cross-sections for enkelte år og enkeltstående spørgsmål relateret til de otte fokusområder udpeget i Handlingsprogram for et rent arbejdsmiljø år 2005 (se f.eks. Bach, Hasle, Limborg & Roepstorff 2003). I den indledende fase af nærværende undersøgelse var det ambitionen at søge at lave skalaer for arbejdsmiljøindsatser, der longituditionelt, dvs. på tværs af de tre VOV-undersøgelser, kunne følge udviklingen i arbejdsmiljøindsatserne i virksomhederne. Dette viste sig dog ikke at være muligt, bl.a. fordi spørgsmålene for samme fokusområde har forskellig formulering i de forskellige runder af overvågningen. På det generelle arbejdsmiljøområde blev der dog fundet otte spørgeskemaspørgsmål, der har samme eller næsten samme formulering på tværs af de tre VOV-undersøgelser (se appendiks), men af andre skalatekniske årsager var det stadig ikke muligt at lave en brugbar skala af disse otte spørgsmål. Nærværende undersøgelse har derfor alene koncentreret sig om at undersøge validiteten af spørgeskemaundersøgelsen sammenholdt med virksomhedsbesøgsundersøgelsen. Størstedelen af overvågningsdata er indsamlet netop med henblik på at undersøge specifikke problemområder, hvilket begrænser mulighederne for at foretage sammenlignende analyser af virksomhedernes arbejdsmiljøaktiviteter på tværs af fokusområderne. Der findes dog en mindre mængde data om arbejdet med det generelle arbejdsmiljø (APV, handlingsplan mm.), som muliggør en tværgående analyse. De generelle arbejdsmiljødata fra VOV II har allerede været analyseret på tværs af visionerne og har leveret et væsentligt bidrag til at påpege betydningen af det generelle arbejdsmiljø for den øvrige indsats på fokusområdet og har samtidig henledt opmærksomheden på en overrapportering fra interviewdata, når disse holdes op imod besøgsdata (Aldrich & Petersen 2005:70; 107). Analyserne i nærværende undersøgelse vil knytte an til sidstnævnte problematik og videreføre analysearbejdet ved på systematisk vis at sammenholde telefoninterviewdata og arbejdsstedsbesøgsdata om det generelle arbejdsmiljø fra VOV II. Målet er at udvikle et redskab til at beskrive virksomhedernes indsats for at leve op til formelle krav i henhold til arbejdsmiljøloven. Mere konkret vil der være tale om at undersøge, hvilken type af skala man kan konstruere med henblik på at måle virksomhedernes grad af opfyldelse af arbejdsmiljøkrav. Overordnet er hensigten at vurdere VOV-spørgeskemaet som måleinstrument for overvågning af virksomhedernes forebyggende aktiviteter på arbejdsmiljøområdet. 5

8 Data VOV II består af en stikprøve for hver af Handlingsplanens otte fokusområder og omfatter telefoninterview med minimum 300 arbejdssteder for hvert fokusområde inden for tre virksomhedsstørrelser (små, mellemstore og store virksomheder med henholdsvis 1-4, 5-19 og 20+ ansatte) og udvalgte, særligt belastede branchegruppper. Fra hver af stikprøverne er 50 arbejdssteder tilfældigt udtrukket til at modtage besøg af en uvildig, professionel arbejdsmiljøspecialist med henblik på at indsamle uddybende information. Såvel telefoninterview som arbejdsstedsbesøg blev gennemført i løbet af de første seks måneder af Spørgeskemaet, der blev anvendt til telefoninterview, indeholder 14 indledende spørgsmål om indsatsen for at opfylde kravene til det generelle arbejdsmiljøarbejde (se tabel 1). Fire af disse spørgsmål har en pendant i spørgeskemaet anvendt ved de efterfølgende arbejdsstedsbesøg (A 8, B 13, C 16, D 14, se tabel 2). Ud over ovennævnte fire spørgsmål, er der ikke anden korrespondance med enslydende spørgsmål i spørgeskema og virksomhedsbesøg, som går på tværs af de otte fokusområder. Tabel spørgsmål til det generelle arbejdsmiljøarbejde i VOV II- telefoninterview Organisering Spgm. 3: Hvordan er arbejdsmiljøarbejdet organiseret (SIU, SU, SiSu- MED eller MIO)? Spgm. 4: Er arbejdsstedet tilknyttet en BST? Politik Spgm. 5: Har I en skriftlig arbejdsmiljøpolitik? APV Spgm. 6: Har I gennemført arbejdspladsvurderinger også kaldet APV på arbejdsstedet? Spgm. 7: Hvornår har I sidst gennemført APV på arbejdsstedet? Spgm. 8. Var den sidste APV, I gennemførte, skriftlig? Handling Spgm. 9: Er I inden for de sidste tre år, f.eks. ved kortlægning, blevet opmærksomme på nogen problemer i arbejdsmiljøet på arbejdsstedet? Spgm. 10: Er arten, alvoren og omfanget af disse problemer blevet vurderet? Spgm. 11: Er der tale om flere separate problemer, der skal løses ved separate indsatser? Spgm. 12: Er det prioriteret, i hvilken rækkefølge Jeres arbejdsmiljøproblemer skal løses? Spgm. 13: Er der udarbejdet skriftlige handlingsplaner for, hvordan 6

9 arbejdsmiljøproblemerne skal løses? Spgm. 14: Er der sat tidsfrister for, hvornår arbejdsmiljøproblemerne skal være løst? Spgm. 15: Er der udpeget nogen, som har ansvaret for, at arbejdsmiljøproblemerne bliver løst? Spgm. 16: Følger I løbende op på, om arbejdsmiljøproblemerne bliver løst som planlagt? Tabel 2. Sammenlignelige spørgsmål til det generelle arbejdsmiljøarbejde i VOV II arbejdsstedsbesøg A: Arbejdsstedsbesøgeren konstaterer, at der er en skriftlig APV B: Arbejdsstedsbesøgeren konstaterer, at der er en skriftlig handlingsplan C: Arbejdsstedsbesøgeren konstaterer, at der er opfølgning på problemer (vha. SU, mm.) D: Arbejdsstedsbesøgeren konstaterer, at der er tidsfrister i handlingsplanen Metode Ved at sammenholde spørgeskemadata med besøgsdata er det muligt at foretage et skøn over validiteten (eller gyldigheden) af spørgeskemadata. Besøgsdata bliver i denne sammenhæng anset for at være den gyldne standard, idet besøgsdata i modsætning til spørgeskemadata ikke er selvrapporterede men objektive data indsamlet af arbejdsmiljøprofessionelle. Praktisk udføres valideringen ved først at sammenholde de korresponderende spørgsmål i spørgeskema- og besøgsdata parvist og dernæst ved at sammenholde en sumskala baseret på spørgeskemadata med en tilsvarende sumskala baseret på besøgsdata. Krydstabuleringen og sumskalaen vil altså indfange, om det selvvurderede arbejdsmiljø angivet ved telefoninterview svarer til det arbejdsmiljø, man finder ved de arbejdsstedsbesøg, der er foretaget i forlængelse af interviewene. Da der er flest spørgeskemabesvarelser fra A-siden, er det valgt at basere undersøgelsen på A- sidens besvarelser. Dette valg indebærer et bortfald på 18 arbejdssteder udelukkende repræsenteret ved B-sidebesvarelser. Skalaudvikling Overordnet set findes to typer af skalaer: Criterion-referenced og Norm-referenced skalaer (Mishel, 1998, Waltz et al, 1991). Kriterie-refererende skalaer er velegnede til at bedømme, i 7

10 hvilken udstrækning et sæt af givne objektive kriterier/mål er overholdt/opnået. Norm-refererende skalaer udvikles til at kunne diskriminere kvantitativt mellem individer/enheder med hensyn til et givent karakteristikum på et kontinuum af værdier, fx en holdning til om man med sit arbejdsmiljøarbejde overhovedet behøver at leve op til lovgivningen. I modsætning til en kriterierefererende skala har den norm-refererende skala ikke nogen ydre absolut reference. Den normrefererende skala udtrykker alene individets/enhedens præstation relativt til andres præstationer. Andre i denne sammenhæng er typisk norm-gruppen, heraf navnet, som kunne være en repræsentativt udvalgt gruppe, der findes relevant som sammenligningsgrundlag. Teknisk set er skalaudviklingen af de to typer meget forskellige, idet den første type, den kriterierefererende, blot kræver, at de opstillede kriterier er veldefinerede, mens den anden type, den normrefererende, skal gennem en række psykometriske tests (for validitet og reliabilitet), før skalaen kan tages i forsvarlig brug. Endvidere bør relevansen af sammenligningsgruppen vurderes. Som det fremgår af tabel 1 vedrører spørgsmålene 3 til 16 det formelle arbejdsmiljø. Ønsket er at udvikle en eller flere skalaer, der evner at rangordne de deltagende virksomheder med hensyn til f.eks. omfanget af aktiviteterne på det generelle arbejdsmiljø. Spørgsmålene 3 til 16 om det formelle arbejdsmiljø er meget konkrete og er velegnede til dannelse af en kriterie-refererende skala. En sådan skala kan udtrykke, hvor mange af disse kriterier, der er opfyldt men kan ikke sige noget om kvaliteten af det bagvedliggende arbejdsmiljøarbejde. Med en kriterie-refererende skala er det enkleste at lave en simpel sum-skala, hvor opfyldelsen af hvert kriterium giver 1 point. Man kan argumentere for, at visse kriterier er vanskeligere at opfylde eller er vigtigere end andre kriterier og derfor vægte nogle af kriterierne højere i pointgivningen. Generelt vil det dog være vanskeligt at gennemføre en holdbar argumentation for at vægte enkelte kriterier højere eller lavere end andre kriterier. Resultater Efter samkøring af spørgeskema- og besøgsdata kunne der identificeres 380 virksomheder, som både havde modtaget et besøg på arbejdspladsen og besvaret spørgeskemaet fra telefoninterviewundersøgelsen. 8

11 APV Tabel 3. Skriftlig APV Spg. Besøg Score 0 Nej 1 Ja Total 0 Nej Ja Total Sensitivitet: 93,9 % Specificitet: 49,6 % Positiv, prædiktiv værdi: 77,2 % Negativ, prædiktiv værdi: 81,7 % Sensitiviteten er altså andelen af syge som erklæres positive (dvs. dem som er sandt positive). Sensitivitet: Andelen af virksomheder med skriftlig APV, som angiver også at have en i spørgeskemaet, dvs. 230/245. Specificitet: Andelen af virksomheder uden skriftlig APV, som også angiver ikke at have en i spørgeskemaet, dvs. 67/135.øj s Positiv, prædiktiv værdi: Andel af de som i spørgeskemaet angiver at have en skriftlig APV, og som faktisk har en APV ved arbejdsstedsbesøget, dvs. 230/298. Negativ, prædiktiv værdi: Andel af de som i spørgeskemaet angiver ikke at have en skriftlig APV, og som heller ikke har en ved arbejdsstedsbesøg, dvs. 67/82. tyder således at en analyse er god til at "fange" de syge personer. Som det fremgår af tabel 3, er der en tendens til overvurdering (falsk positive) i spørgeskemadata mht. gennemførelsen af en skriftlig APV. Faktisk har 23 % (68/298) af de virksomheder, der i spørgeskemaet har angivet, at de har gennemført en skriftlig APV ikke kunnet fremvise en sådan ved virksomhedsbesøget. Underdrivelsen (falsk negative), dvs. virksomheder, som blev fundet faktisk at have gennemført en skriftlig APV, selvom de i spørgeskemaet havde angivet ikke at have gjort det, virker i absolutte tal (15 virksomheder) ikke så massiv, men relativt set er tallet næsten lige så stort som tallet for overvurdering, nemlig 18 % (15/82). Rækken af forklaringer på den manglende APV er mange og i visse tilfælde underholdende. Nedenfor listes eksempler på kommentarer til manglende APV: Det har været svært at skulle prioritere APV højt på denne arbejdsplads, pga. det er 2. job for alle Ejeren havde glemt APV materialet i sit eget hjem De har den opfattelse, at det ikke er lovpligtigt, at små virksomheder skal lave APV Ejeren mener, at APV er spild af tid Den er blevet væk, efter at de har haft den fremme i forbindelse med tilpasset tilsyn Lederen kunne ikke finde den Skemaerne kan ikke fremskaffes På grund af rod og organisationsændringer kan ingen finde den gennemførte APV Vi har ikke hørt så meget om APV Jamen, skal vi lave sådan én? Var det ikke dét, man gik væk fra, at AT kunne kræve? 9

12 De har ikke tid Arbejdsstedet ved ikke, hvad en APV er Intet kendskab til APV De vil gerne lave APV; de har set et skema, men har aldrig lavet ét En branche (Bygge og Anlæg) hvor mange har svært ved at læse og skrive, så derfor snakkes der mere om forholdene De har ikke lavet APV, og det er tvivlsomt, om de ved, hvad det går ud på Sikkerhedsrepræsentanten arbejder med den p.t. er i hans computer Der var blevet ledt før mødet, men ingen kunne finde APVen Mester forklarer: Den er desværre p.t. placeret i en kasse pga. omflytning kan ikke findes frem Lars mener, det er spild af tid hvis der er problemer, løses de her og nu Handlingsplan Tabel 4. Skriftlig handlingsplan Spg. Besøg Score 0 Nej 1 Ja Total 0 Nej Ja Total Sensitivitet: 57,8 % Specificitet: 82,8 % Positiv, prædiktiv værdi: 80,8 % Negativ, prædiktiv værdi: 61,1 % Ud fra besøgsdata er der færre virksomheder (211), der har en skriftlig handlingsplan, end der er virksomheder (245), der har en skriftlig APV. Graden af overvurdering om tilstedeværelse af en skriftlig handlingsplan i spørgeskemadata ligger på samme niveau (29/151=19 %) som ved skriftlig APV. Det er derimod bemærkelsesværdigt, hvor mange virksomheder der ved besøg bedømmes til faktisk at have en skriftlig handlingsplan (89/229=39 %), selv om virksomheden i spørgeskemadata havde angivet ikke at have en. Forklaringerne for manglende handlingsplan er i stil med forklaringerne for manglende APV og vises nedenfor: Handlingsplanen er tom, men underskrevet Handlingsplanen sidder sammen med APV i computer Indehaver oplyste, at han havde svært ved at se, hvad den skulle bruges til Tingene laves ad hoc Der er ingen grund til at have én (skriftlig handlingsplan). Vi har det uformelt her på kontoret Der angives ikke at have fundet problemer Man arbejder på det p.t. Vi ordner det hele med det samme, vi skriver det ikke ned Der er ikke lavet en handlingsplan. Sikkerhedslederen er ny i jobbet og ved ikke noget Ingen problemer, derfor reelt ingen handlinger formuleret Som sagt er APV inkl. handlingsplan blevet væk 10

13 Handlingsplanen kunne ikke findes Der er ikke udarbejdet handlingsplan, fordi der slet ikke arbejdes bevidst med arbejdsmiljøet Opfølgning Tabel 5. Opfølgning Spg. Besøg Score 0 Nej 1 Ja Total 0 Nej Ja Total Sensitivitet: 70,2 % Specificitet: 61,2 % Positiv, prædiktiv værdi: 57,1 % Negativ, prædiktiv værdi: 73,6 % Under halvdelen (161/380) af alle de besøgte virksomheder følger op på igangsatte arbejdsmiljøforbedringer, og graden af overvurdering er stor, idet hele 43 % (85/198) af alle virksomheder, der angiver at udføre opfølgning, ikke findes at gøre dette ved virksomhedsbesøget. Graden af underdrivelse er 26 % (48/182). Tidsfrister Tabel 6.. Tidsfrister Spg. Besøg Score 0 Nej 1 Ja Total 0 Nej Ja Total Sensitivitet: 62,7 % Specificitet: 74,3 % Positiv, prædiktiv værdi: 63,5 % Negativ, prædiktiv værdi: 73,7 % Det er også under halvdelen (158/380) af alle de besøgte virksomheder, som har tidsfrister for gennemførelsen af prioriterede arbejdsmiljøindsatser. I absolutte tal balancerer overdrivende (57) og underdrivende (59) virksomheder, men procentvis er overvurderingen (37 % = 57/156) igen betydeligt større end underdrivelsen (24 % = 59/244). Skala for efterlevelse af de formelle arbejdsmiljøkrav Da alle de ovenstående spørgsmål vedrører veldefinerede ydre kriterier, der enten kan være opfyldt eller ikke opfyldt, ligger det lige for at lave en kriterie-refererende skala, og da alle kriterierne er rimelig jævnbyrdige, dannes en simpel sumskala, hvor opfyldelsen af hvert kriterium giver ét point. Skalaen kan således betragtes som et samlet mål for, hvor godt virksomhederne lever op til de lovpligtige formelle arbejdsmiljøkrav. 11

14 Tabel 7. Sumskala for virksomhedernes grad af opfyldelse af arbejdsmiljøkrav Spørgeskema Besøg Score Total Total Der er en klar statistisk sammenhæng mellem oplysningerne i spørgeskemaet og fundene ved virksomhedsbesøg (Pearson chi2(16) = ; P-værdi = 0,000). Graden af overvurdering og underdrivelse afhænger af den samlede score. Virksomheder, som scorer sig selv med 0 point, kan af gode grunde ikke overdrive, og når der ses bort fra denne gruppe, så er overvurderingen lavest i den gruppe af virksomheder, som scorer sig selv med 1 point (30/122). Derimod er der ikke signifikante forskelle på graden af overvurdering i de øvrige 3 grupper (dvs. virksomheder, som henholdsvis scorer sig selv med 2, 3 og 4 point). De virksomheder, der scorer sig selv med 4 point, kan tilsvarende ikke underdrive. Bortset fra dette er underdrivelsen størst i gruppen af virksomheder, som scorer sig selv med 1 point, mens underdrivelsen ikke adskiller sig signifikant fra hinanden i grupperne af virksomheder, der scorer sig selv med 0, 2 og 3 point. Samlet set er de grupper af virksomheder, som scorer sig selv med 0 og med 4 point, de mest realistiske, mens de øvrige grupper med 1, 2 og 3 point er signifikant mere urealistiske. Validiteten af spørgeskemadata vha. besøgsdata Resultatet af den parvise sammenligning af data fra henholdsvis telefoninterview og arbejdsstedsbesøg viser, at der tilsyneladende findes en tendens til at overrapportere i spørgeskemadata, når data efterprøves ved arbejdsstedsbesøg. Dette peger i retning af, at der reelt hersker uklarhed om kravene til egenindsatsen på det generelle arbejdsmiljøområde, eller at der kan være forskønnet lidt på fakta om egenindsatsen. I forhold til spørgsmålet om skriftlig udarbejdelse af APV har 23 % af de arbejdspladser, der i spørgeskemaet anfører at have gennemført en skriftlig APV, rent faktisk ikke gennemført den på det tidspunkt, hvor respondenten modtager arbejdsstedsbesøg. 12

15 Andelen af virksomheder, der overdriver, når det handler om udarbejdelse af en skriftlig handlingsplan er 19 %, dvs. ligesom ved spørgsmålet om APV er det også omkring hver femte besøgte virksomhed, der over telefonen har svaret med overvurdering. I forhold til om virksomheder følger op på, om konstaterede arbejdsmiljøproblemer bliver løst som planlagt, er der 43 % af de besøgte virksomheder, som har overdrevet ved telefoninterviewet, når de har svaret, at de følger op på problemerne. 37 % af de besøgte virksomheder har overdrevet, når de over telefonen har angivet at have sat tidsfrister for løsninger af konstaterede arbejdsmiljøproblemer. Den parvise sammenligning udmøntede sig imidlertid også i, at der i en næsten tilsvarende grad underrapporteres. Det vil sige, at der findes en hel del virksomheder, der udviser tvivl om enten spørgeskemaspørgsmålenes indhold eller kriterier for opfyldelse af de krav, der spørges ind til. I spørgsmålet om tilstedeværelse af skriftlig APV, underdriver 18 % af de arbejdspladser, som ved telefoninterview angiver ikke at have en skriftlig APV, eftersom de ved arbejdsstedsbesøgene kan fremvise en skriftlig APV. Andelen af virksomheder, der underdriver ved spørgsmålet om skriftlig handlingsplan er mere end dobbelt så høj, idet 39 % af de besøgte virksomheder over telefonen først har angivet ikke at have udarbejdet en skriftlig handlingsplan. Når det kommer til spørgsmålet om opfølgning på arbejdsmiljøproblemer, underdriver 26 % af de besøgte virksomheder. Besvarelsen af spørgsmålet om, hvorvidt der er sat tidsfrister for løsning af et konkret arbejdsmiljøproblem, er underdrevet hos 24 % af de besøgte virksomheder. Det kan, som nævnt tidligere, tænkes, at tidsdimensionen mellem interview og besøg spiller ind her i og med, at nogle virksomheder kan have nået at udbedre eventuelle mangler i arbejdsmiljøindsatsen, inden arbejdsstedsbesøget fandt sted. Desuden er det dokumenteret, at den enkelte arbejdsplads var informeret på forhånd om, hvilke arbejdsmiljøemner, der ville blive drøftet ved arbejdsstedsbesøget (Aldrich & Petersen 2005: Bilag A:28). Dette kunne tillige tænkes at begrunde en del af underdrivelsen. 13

16 Sumskalaen viser, at der er statistisk klar sammenhæng mellem virksomhedernes vurdering af efterlevelsen af de formelle, generelle krav til arbejdsmiljøet og arbejdsstedsbesøgenes resultater. De virksomheder, som overdriver mindst ved telefoninterviewet er de virksomheder, som opfylder et enkelt kriterium (arbejdsmiljøkrav) ud af fire mulige. I de øvrige tre grupper med henholdsvis 2, 3 eller 4 opfyldte kriterier er der ikke signifikante forskelle på graden af overvurdering. Med hensyn til undervurdering, så er de virksomheder, der overvurderede mindst (de med 1 selvvurderet point) også de virksomheder, der undervurderer mest. Undervurderingen i øvrigt adskiller sig ikke signifikant fra hinanden i de virksomheder, der bedømmer sig selv til at opfylde 0, 2 eller 3 kriterier. Man kan dermed pege på, at viden om virksomhedernes reelle niveau er mindst for de virksomheder, der selvvurderer sig med 1, 2 eller 3 point, idet disse virksomheder reelt lige så vel kan ligge på alle niveauer. Omvendt er viden om virksomhedernes reelle niveau størst for de virksomheder, der selvvurderer sig med 0 eller 4 point. Hvis den udviklede sumskala skal tages som et samlet mål for efterlevelse af de lovpligtige formelle arbejdsmiljøkrav, tillægger man skalaen mere end blot de parvise sammenligninger af de fire spørgsmål, der indgår i skalaen. I det tilfælde vil det være ønskeligt at se nærmere på skalaens psykometriske egenskaber (reliabilitet og intern validitet), hvilket vil blive undersøgt nærmere i det følgende afsnit. 14

17 Psykometriske egenskaber af sumskalaen for efterlevelse af de lovpligtige formelle arbejdsmiljøkrav Hvis skalaen skal kunne betragtes som et bestemt karaktertræk for virksomhederne (dvs. efterlevelse af de lovpligtige formelle arbejdsmiljøkrav), vil det være hensigtsmæssigt, hvis skalaen alene indeholder dette karaktertræk og ingen andre dimensioner. Skalaen skal med andre ord gerne være endimensional. Dette undersøges med en eksplorativ faktoranalyse. Reliabiliteten, dvs. skalaens evne til at nå det samme resultat ved gentagne målinger, undersøges med Cronbach s alpha. Dimensionaliteten og reliabiliteten af skalaen I boksen nedenfor (Boks 1) vises en udskrift af resultaterne fra en faktoranalyse af de fire spørgeskemaspørgsmål. Den udførte faktoranalyse er en principal faktor analyse, der tillader en samvariation af en eventuel flerdimensionalitet i spørgsmålene. Faktoranalysen estimerer det optimale antal faktorer til at være 1, dvs. at de fire spørgsmål netop er endimensionelle, som det var ønskværdigt, at de skulle være. Boks 1. Principal faktor analyse på fire spørgeskemaspørgsmål om det formelle arbejdsmiljø Factor analysis/correlation Number of obs = 3233 Method: principal factors Retained factors = 1 Rotation: (unrotated) Number of params = 4 Factor loadings (pattern matrix) and unique variances Variable Factor1 Uniqueness APV aq8s Handlingp aq13s Tidsfrist aq14s Opfølgning aq16s Det er imidlertid kun tre ud af fire spørgsmål, der bidrager (loading > 0,5) acceptabelt til faktoren: Spørgsmålet vedr. APV bidrager kun beskedent, idet spørgsmålet har en særegenhed (uniqueness), der er af en anden karakter, end den de tre øvrige spørgsmål besidder. Spørgsmålet vedrørende APV synes således at afvige i dimensionalitet i forhold til de andre tre spørgsmål, men uden støtte fra andre spørgsmål med lignende karakter faktoreres denne karakter ikke ud som en selvstændig dimension. 15

18 Reliabiliteten af skalaen med alle fire spørgeskemaspørgsmål er fuldt acceptabel (Cronbach s alpha = 0,84), men som det fremgår af nedenstående boks (Boks 2), så er spørgsmålet vedrørende APV igen problematisk. Spørgsmålet har lavt item-test og item-rest correlation, og hvis spørgsmålet udelades af skalaen, vil reliabiliteten stige betydeligt (Cronbach s alpha = 0,91). Boks 2. Cronbach s alpha analyse på fire spørgeskemaspørgsmål om det formelle arbejdsmiljø average item-test item-rest inter-item Item Obs Sign correlation correlation covariance alpha APV aq8s Hand. aq13s Tidsf. aq14s Opfølg. aq16s Test scale Besøgsdata Gentages den ovennævnte principal faktoranalyse på besøgsdata, retineres to faktorer, og efter en promax-rotation ses, at det igen er spørgsmålet om skriftlig APV, støttet af spørgsmålet om skriftlig handlingsplan, der danner den anden faktor, begge dog med meget lav loading (0,18 og 0,11). Disse to spørgsmål har kravet om skriftlighed til fælles, og det kan tænkes, at det er dette krav, der skaber den fundne samvariation mellem de to spørgsmål. Denne faktor har dog kun ubetydeligt lave loadings, og gennemtvinges en faktoranalyse med udfaktorering af kun én faktor, fremkommer et resultat, som er ganske lig resultatet fra spørgeskemadata. Boks 3. Principal faktoranalyse på fire besøgsspørgsmål om det formelle arbejdsmiljø Factor analysis/correlation Number of obs = 380 Method: principal factors Retained factors = 2 Rotation: oblique promax (Kaiser off) Number of params = 6 Rotated factor loadings (pattern matrix) and unique variances Variable Factor1 Factor2 Uniqueness skr_apvb skr_hanb opfb tidb

19 Reliabiliteten på skalaen dannet ud af de fire besøgsspørgsmål om det formelle arbejdsmiljøarbejde fremgår af nedenstående boks 4. Cronbach s alpha er her 0,83, og i dette tilfælde forbedres den kun marginalt ved at udelade spørgsmålet om skriftlig APV. Boks 4. Cronbach s alpha analyse på fire besøgsspørgsmål om det formelle arbejdsmiljø average item-test item-rest inter-item Item Obs Sign correlation correlation covariance alpha skr_apvb skr_hanb skr_opfb skr_tidb Test scale Skalaens psykometriske egenskaber Endimensionaliteten af skalaen for efterlevelse af de formelle arbejdsmiljøkrav baseret på spørgeskemadata er acceptabel, og reliabiliteten er god. Analyserne gentaget på besøgsdata, som jo dels er indsamlet uafhængigt af spørgeskemadata og dels besidder en højere validitet (idet de ikke er selvrapporterede), støtter fuldt op om den dannede skala. Eksempel på brug af skalaen Med den dannede skala er det muligt ud fra spørgeskemadata alene at bedømme, om der er forskelle i efterlevelsen af de formelle arbejdsmiljøkrav på tværs af brancher, landsregioner mm. Herunder gives et eksempel på forskelle på tværs af virksomhedsstørrelser. Graf 1 viser, at gennemsnittet af score stiger med stigende antal ansatte. De blå ringe, hvis størrelse er proportional med antallet af virksomheder med den givne score, afslører, at den simple sammenhæng mellem gennemsnitscore og virksomhedsstørrelse skjuler den reelle yderst komplekse fordeling af score. 17

20 Graf 1. Graden af efterlevelse af de formelle arbejdsmiljøkrav målt på virksomhedsstørrelse Scorefordeling efter virksomhedsstørrelse samt gennemsnit Spørgeskema skala score Antal ansatte 18

21 Appendiks Oversigt over spørgeskemaspørgsmål i VOV II, der går igen på tværs af VOV I og VOV III Organisering 1. Hvordan er arbejdsmiljøarbejdet organiseret (SIU, SU, SiSu- MED eller MIO) 2. Har virksomheden en skriftlig arbejdsmiljøpolitik? APV 3. Er den sidst gennemførte arbejdspladsvurdering (APV) skriftlig? 4. Er virksomheden inden for de sidste tre år, f.eks. ved kortlægning, blevet opmærksom på nogle problemer i arbejdsmiljøet? 5. Er arten, alvoren og omfanget af disse problemer blevet vurderet? Handling 6. Er der udarbejdet skriftlige handlingsplaner for, hvordan problemerne skal løses? 7. Er der sat tidsfrister for, hvornår arbejdsmiljøproblemerne skal være løst? 8. Er der udpeget nogen, som har ansvaret for, at arbejdsmiljøproblemerne bliver løst? Holdninger 9. Arbejdsmiljøet bliver som regel kun forbedret, når virksomheden er presset til det 10. Den fremherskende holdning på arbejdsstedet er, at arbejdsmiljøet helst skal være bedre end det reglerne kræver 3, 6, 7 og 8 genfindes på samme form i spørgsmål ved arbejdspladsbesøg i VOV II (2004) 1, 2, 3, (4), (5), 6, 9 og 10 genfindes i (næsten) samme form i spørgeskemaet for VOV I (2001) 1, 3, 4, 5, 6, 9 og 10 genfindes i (næsten) samme form i spørgeskemaet for VOV III (2006) De to holdningsspørgsmål går igen i alle tre VOV-undersøgelser, men to spørgsmål er ikke tilstrækkelige til at udvikle en skala. En skala baseret på de øvrige otte generelle arbejdsmiljøspørgsmål blev forsøgt dannet, men ved iterative Cronbach s alpha optimering blev alle spørgsmålene elimineret fra skalaen pga. redundans eller mangel på homogenicitet med den samlede skala (begrebsvaliditet). 19

22 Referencer Aldrich PT & Petersen MV. Overvågning af fremdriften i arbejdsmiljøarbejdet i virksomhederne Sammenfattende rapport. København: COWI, Teknologisk Institut og AKF Bach E., Hasle P, Limborg P & Roepstorff C. Måling af fremdriften i arbejdsmiljøarbejdet: Det generelle arbejdsmiljøarbejde. København: Arbejdsmiljøinstituttet og CASA Mishel, MH. Methodological studies: Instrument development, in Brink, PJ, Wood, MJ. (Eds.): Advanced design in nursing research (2 nd ed., pp ). Thousand Oaks, CA Sage Waltz CF, Strickland OL & Lenz ER. Measurement in nursing research. Philadelphia: FA Davis

23