Hvilke effekter er der på mellemlangt sigt af Arbejdstilsynets risikobaserede tilsyn? AM:2016, Workshop 101, Mandag 7 november 2016 Per Lunde Jensen, Arbejdstilsynet, Per Tybjerg Aldrich, COWI og Flemming Pedersen, TeamArbejdsliv
DISPOSITION Første del: Arbejdstilsynet motivation for at gennemføre evalueringen Anden del: Evalueringsopgaven Tredje del: FASE1 Fjerde del: Væsentlige resultater 2
HVAD HANDLER EVALUERINGEN OM? Virksomheder som har fået mindst et påbud ved et risikobaseret tilsyn inden for områderne MSB, psykisk arbejdsmiljø eller ulykkesrisiko Evaluering af effekt af påbud efter cirka 2 år Et offentlig EU udbud med Arbejdstilsynet som udbyder Evalueringen er gennemført januar til december 2015. 3
EVALUERINGENS FASER Opgaven blev udbudt i to faser: Fase 1, som blev gennemført første halvår af 2015, blev anvendt til at udvikle evalueringsmetoden Arbejdstilsynet vurderede arbejdet i fase 1 og kunne ifølge udbuddet vælge enten at gennemføre eller ikke gennemføre fase 2 og valgte at gennemføre Fase2 dataindsamling, analyse og rapportering er gennemført i andet halvår af 2015 med endelig aflevering ultimo januar 2016. 4
Første del: Arbejdstilsynets motivation for at gennemføre evalueringen 5
AT S UDGANGSPUNKT Flere evalueringer viste, at påbud fører til at (konkrete) problemer bliver løst Reformevalueringen viste, at 50%-60% af virksomhederne oplevede en reel forbedring i arbejdsmiljø NFA s Arbejdsmiljø og helbred, ulykkesstatistik mv. kunne ikke fremvise markante forbedringer (om overhovedet) 6
EVALUERINGSSPØRGSMÅL A. I hvilket omfang medfører Arbejdstilsynets afgørelse om muskelskeletbelastninger, psykisk arbejdsmiljø og ulykkesrisici, at det konkrete arbejdsmiljøproblem bliver løst? B. Fastholder virksomheden løsningerne i de daglige arbejdsprocesser? C. Er virksomheden i stand til at overføre erfaringer fra løsningen eller løsningsprocessen til eventuelle andre arbejdsmiljøproblemer? D. Hvilke årsagskæder understøtter, at afgørelserne får effekt på det materielle arbejdsmiljø? 7
AT s forandringsteori - Tilsyn Aktivitet Output Effekt på kort sigt Tilsyn Kontrol og dialog Afgørelser AT-Vejledninger Mundtlig vejledning Konkrete problemer løses Effekt på mellemlangt sigt Løsning fastholdes Forebygger lignende problemer Effekt på langt sigt Reduktion i belastning mht. MSB og psykisk arbejdsmiljø og antal ulykker Arbejdstilsynet Virksomheder Arbejder systematisk med arbejdsmiljø
Spørgsmål og kommentarer? 9
Anden del: Evalueringsopgaven 10
EVALUERINGSSPØRGSMÅL A. I hvilket omfang medfører Arbejdstilsynets afgørelse om muskelskeletbelastninger, psykisk arbejdsmiljø og ulykkesrisici, at det konkrete arbejdsmiljøproblem bliver løst? B. Fastholder virksomheden løsningerne i de daglige arbejdsprocesser? C. Er virksomheden i stand til at overføre erfaringer fra løsningen eller løsningsprocessen til eventuelle andre arbejdsmiljøproblemer? D. Hvilke årsagskæder understøtter, at afgørelserne får effekt på det materielle arbejdsmiljø? 11
OVERBLIK: EVALUERINGSTIDSPUNKT OG AKTIVITETER FREM TIL Evalueringen set i sammenhæng med AT's aktiviteter 12
Spørgsmål og kommentarer? 13
Tredje del: FASE 1 14
EVALUATORS FORSLAG TIL FASE2 EFTER UDFØRELSE AF FASE1 Evalueringsspørgsmål Metode Statistisk analyse af Arbejdstilsynets produktionsdata Statistisk analyse af svar fra CATIundersøgelse Kvalitative analyse af casestudier A) I hvilket omfang medfører Arbejdstilsynets afgørelser om MSB, psykisk arbejdsmiljø og ulykkesrisici, at det konkrete arbejdsmiljøproblem bliver løst? B) Fastholder virksomheden løsningerne i de daglige arbejdsprocesser? ( ) C) Er virksomheden i stand til at overføre erfaringer fra løsningen eller løsningsprocessen til eventuelle andre arbejdsmiljøproblemer? D) Hvilke årsagskæder understøtter, at afgørelserne får en effekt på det materielle arbejdsmiljø? ( ) 15
FASE1: PRIMÆRE ANALYSE Udsende spørgeskemaer til virksomheder som måler løst, fastholdt læring og spredning. Leder og AMR udfyldte Besøge samme virksomheder, gennemføre kvalitative interview og observere. Kode kvalitative interview til spørgeskemasvar sammenligne med virksomhedernes svar Gennemgå kvalitative interview og observationer med henblik på at vurdere hvad vi fik oveni Førte til anbefaling om at virksomhederne kunne huske de havde haft et påbud, de kunne huske hvad de havde gjort for at løse arbejdsmiljøproblemet og de kunne svare på spørgsmål om læring og spredning. Et eksempel på evalueringsmetodens præcision En del virksomheder kan ikke huske indholdet af den faglige dialog under tilsynet, men de kan fx huske om: Om der var en god dialog. Om de følte sig hørt. 16
FASE2: UNDERSØGELSER OG ANALYSER Statistisk analyse af CATI-undersøgelse med cirka 622 respondenter fordelt nogenlunde ligeligt på virksomheder med mindst et påbud inden for Ulykkesrisiko (24), MSB (216)og PSYK-arbejdsmiljø (157) Kvalitativ analyse af 29 casestudier med virksomheder, som har fået mindst et påbud inden for Ulykkesrisiko, MSB og PSYK-arbejdsmiljø En sammenlignende kvantitativ analyse af data for to datasæt for 24 virksomheder. Formålet var at validere den telefonbaserede spørgeskemaundersøgelse Virksomheder med RT april 2013 til dec. 2013 17
Spørgsmål og kommentarer? 18
Fjerde del: FASE 2 19
BLIVER DET KONKRETE AM-PROBLEM LØST? Når styrker og svagheder ved de to undersøgelsesmetoder tages i betragtning er den nuancerede konklusion: At langt de fleste virksomheder med afgørelser om ulykkesrisici eller MSB har løst det arbejdsmiljøproblem, som de fik afgørelse om. Færre virksomheder med afgørelser om psykisk arbejdsmiljø fuld og helt har løst det arbejdsmiljøproblem, som de fik afgørelse om. Caseundersøgelsen finder færre virksomheder, som løser det psykiske arbejdsmiljøproblem, end spørgeskemaundersøgelsen. En forklaring på forskellen i løsningsgraden i forhold til afgørelser inden for psykisk arbejdsmiljø kan være, at vi som evaluator vurderer, at de igangsatte initiativer ikke er tilstrækkelige, eller at virksomheden under interviewet bliver bevidst om, at arbejdsmiljøproblemet kun er 'delvist løst'. Caseundersøgelsen og spørgeskemaundersøgelsen viser begge at løsning af problemer vedrørende det psykiske arbejdsmiljø typisk omfatter flere løsningsformer end løsning af problemer vedrørende MSB og ulykkesrisici. 20
BLIVER DET KONKRETE AM-PROBLEM LØST? I hvilket omfang løste I det arbejdsmiljøproblem, som Arbejdstilsynet gav reaktion om? (N MSB=214, PSYK=155, Ulykke=247). Fuldt og helt I høj grad I nogen grad I begrænset grad Slet ikke Total MSB 75% 16% 4% 3% 3% 100% PSYK 52% 34% 12% 2% 1% 100% ULYKKE 85% 12% 2% 1% 0% 100% De fleste arbejdsmiljøproblemer løses fuldt og helt. Den primære forklaring er, at selve afgørelsen motiverer virksomhederne til at løse arbejdsmiljøproblemet. Den primære virkningsmekanisme er, at virksomhederne accepterer den offentlige regulering, som de er underlagt. 21
ANVENDES LØSNINGEN FORTSAT? Når styrker og svagheder ved de to undersøgelsesmetoder tages i betragtning er den nuancerede konklusion: At langt de fleste virksomheder med afgørelser om ulykkesrisici har fastholdt løsningen af arbejdsmiljøproblemet, som de fik afgørelse om. Lidt færre virksomheder med afgørelser om psykisk arbejdsmiljø eller MSB har fastholdt løsningen. Løsninger af problemer vedrørende det psykiske arbejdsmiljø er knap så godt fastholdt som løsninger af problemer vedrørende ulykkesrisici og MSB. 22
ANVENDES LØSNINGEN FORTSAT? I hvilket omfang anvender I fortsat løsningen? (N MSB=215, PSYK=156, Ulykke=246). Fuld og helt I høj grad I nogen grad I begrænset grad Slet ikke Husker ikke/ved ikke Total MSB PSYK ULYKKE 78% 6% 4% 4% 7% 0% 100% 62% 24% 8% 3% 3% 1% 100% 90% 4% 2% 0% 2% 1% 100% Virksomhederne har i høj grad fastholdt den valgte løsning to år efter afgørelsen. Virksomhederne er generelt motiverede for at fastholde løsningen. Nogle løsninger har ikke krævet en aktiv indsats fra virksomhedens side at fastholde, hvilket i sig selv forklarer, at løsningen er fastholdt. 23
KOMBINATIONER MELLEM LØSNING OG FASTHOLDELSE Kombinationer af løsning og fastholdelse: A. Simpel løsning og passiv fastholdelse B. Simpel løsning og aktiv fastholdelse C. Kompleks løsning og aktiv fastholdelse D. (kompleks løsning og passiv fastholdelse?). Det simple består i, at løsningen er en umiddelbar ændring, som kan indføres, købes mv. Det komplekse består fx i, at det kræver en væsentlig indsats/samarbejde mellem ledelse og medarbejdere i virksomheden om at løse AM-problemet Aktiv fastholdelse betyder,, at AM-problemet ikke er løst en gang for alle ved tilbagemeldingen til AT, men at løsningen skal vedligeholdes fx ved at der løbende skal påmindes ift at fastholde eller løbende arbejdes med AM-problemet 24
KOMBINATIONER OG TYPE AF AM-PROBLEM Mange ulykke-påbud er kendetegnet ved simpel løsning og passiv fastholdelse Mange psyk påbud er kendetegnet ved kompleks løsning og aktiv fastholdelse MSB-påbud er mindre uniforme men mange som kræver simpel løsning og aktiv fastholdelse 25
MEKANISMER LØSNING OG FASTHOLDELSE Der er få eller ingen mekanismer forbundet med at skabe den simple løsning og den passive fastholdelse Ved komplekse løsninger kan følgende mekanismer virke understøttende på løsningens kvalitet: Virksomhedens erkendelse af arbejdsmiljøproblemet At virksomheden i forvejen har fokus på arbejdsmiljøarbejde Medarbejderinddragelse i løsningen En god dialog med den tilsynsførende på tilsynet, hvor virksomheden får viden og inspiration. Ved aktiv fastholdelse kan følgende mekanismer virke understøttende på graden af fastholdelse: Virksomhedens erkendelse af arbejdsmiljøproblemet Afgørelsens relevans for arbejdsmiljøproblemet Medarbejderinddragelse i løsningen Virksomhedens generelle fokus på arbejdsmiljø. 26
SPREDNING OG LÆRING Når styrker og svagheder ved de to undersøgelsesmetoder tages i betragtning er den nuancerede konklusion: At langt fra alle virksomheder har opnået læring af at løse arbejdsmiljøproblemet og fastholde løsningen. At der i endnu færre virksomheder er sket spredning. I det omfang, at der finder læring og spredning sted, sker det hyppigst i virksomheder med afgørelser om psykisk arbejdsmiljø og sjældnest i virksomheder med afgørelser om ulykkesrisici. Det betyder at de virksomheder, som får afgørelser om et kompleks problem, og som arbejder over længere tid med løsningen, lærer mest af arbejdet med løsningen. 27
SPREDNING OG LÆRING - SPØRGESKEMAUNDERSØGELSEN Virksomhedsintern spredning og læring? Er selve løsningen anvendt til at løse andre AM problemer? Er ideer fra løsningen anvendt til at løse andre AM problemer? Er metoder fra løsningen anvendt til at løse andre AM problemer? Har virksomheden lært af at løse AM problemet? Har virksomheden lært af at fastholde løsningen? Samlet spredning (sp. 1,2,3) Samlet læring (sp 4,5) 12% 15% 16% 19% 22% 26% 33% 36% 38% 46% 45% 59% 55% 53% 62% 70% 82% 77% 83% 87% 80% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% PSYK MSB ULYKKE 28
SPREDNING OG LÆRING - CASEUNDERSØGELSEN Få casevirksomheder har overført erfaringer fra løsningen eller løsningsprocessen til andre arbejdsmiljøproblemer. Dette gælder uafhængigt af arbejdsmiljøområde. Nogle har ikke haft andre AM-problemer, som de kunne overføre til Nogle casevirksomheder har lært af løsningen eller løsningsprocessen, overvejende i form af at have fået større opmærksomhed og fokus på arbejdsmiljøudfordringer. Enkelte af virksomhederne er blevet bedre til at løse arbejdsmiljøproblemer. Virksomheder, som har overført erfaringer fra løsningen eller løsningsprocessen eller har lært af løsningen, er virksomheder, som har løst eller delvist løst arbejdsmiljøproblemet, samt har fastholdt løsningen. Forklaringen kan være, at virksomhederne, for at kunne se mulighederne i at bruge løsningen eller ideer fra løsningen, er nødt til at have haft succes med den pågældende løsning. 29
Forandringsteori for afgørelser, som har medført relativt simple løsninger og hvor fastholdelse ikke har krævet en aktiv indsats af virksomheden AT mekanismer Afgørelsen afspejler AM-problemet Inspiration til løsning RT1 Afgørelse Arbejdsmiljø problem løses Løsningen spredes/læring Løsning fastholdt to år efter RT1 Virksomhed mekanismer Accept af afgørelse/ efterkommelse Relevant viden inddrages Niveau i arbejdsmiljøarbejdet (herunder AMO og arbejdsmiljørepræsentant) Erkendelse af arbejdsmiljøproblem RT2 Forventet kontrol 30
Forandringsteori for afgørelser, som har medført relativt simple løsninger men som har krævet en aktiv indsats for virksomheden at fastholde AT mekanismer Afgørelsen afspejler AM-problemet Inspiration til løsning Dialog om løsning RT1 Afgørelse Arbejdsmiljø problem løses Løsningen spredes/læring Løsning fastholdt to år efter RT1 Virksomhed mekanismer Accept af afgørelse/ efterkommelse Relevant viden inddrages Niveau i arbejdsmiljøarbejdet (herunder AMO og arbejdsmiljørepræsentant) Erkendelse af arbejdsmiljøproblem Erkendelse af arbejdsmiljøproblemet Medarbejdere inddrages i løsningen Inddragelse af AMO RT2 Forventet kontrol 31
Forandringsteori for afgørelser, som har medført relativt komplekse løsninger og som har krævet en aktiv indsats for virksomheden at fastholde AT mekanismer Afgørelsen afspejler AM-problemet Inspiration til løsning Dialog om løsning RT1 Afgørelse Arbejdsmiljø problem løses Løsningen spredes/læring Løsning fastholdt to år efter RT1 Virksomhed mekanismer Accept af afgørelse/ efterkommelse Relevant viden inddrages Medarbejdere inddrages Antal løsninger Inddragelse af AMO Samarbejdsklima Læring ved at løse og arbejde med at fastholde løsningen Erkendelse af arbejdsmiljøproblem Forståelse af arbejdsmiljøproblemet Niveau i arbejdsmiljøarbejde (herunder AMO og arbejdsmiljørepræsentant) Medarbejdere inddrages Inddragelse af AMO Løsningen opfattes fortsat relevant Forståelse af arbejdsmiljøproblemet Generelt fokus på AM Ønske om fortsat at leve op til Arbejdstilsynets krav Samarbejdsklima Antal indsatser/løsninger RT2 Forventet kontrol 32
KONKLUSION: LØST, FASTHOLDT, SPREDNING OG LÆRING Hvis omfanget af løsning af arbejdsmiljøproblemet og fastholdelse af løsningen skal øges, skal der gives (flere) afgørelser, som indebærer simple løsninger og passiv fastholdelse af løsningen. Hvis omfanget af læring og spredning skal øges, skal der gives (flere) afgørelser, som indebærer komplekse løsninger og aktiv fastholdelse. En tredje vej kan være at give afgørelser, hvor den enkelte afgørelse både indebærer simple og komplicerede løsninger samt passiv og aktiv fastholdelse. 33
Resultaterne holder ikke ift. skiftende arbejdssteder AT efteranalyse af anonymiserede data Logistisk regression Spm.: Anvendes løsningen stadig? (ja/nej) Sandsynligheden for at fastholde kun 1/3 hvis skiftende arb. sted 450 400 350 300 250 200 150 100 50 0 Problem arb.sted
UDVALGTE ANBEFALINGER Shortliste over typiske arbejdsmiljøproblemer med simple løsninger fremsendes før tilsyn Afgørelser i forhold til virksomhedens centrale opgaver Afgørelser bør understøtte læring (eks. på afgørelser med lave forebyggelsesniveauer) Dialog om afgørelse fortsættes efter virksomhedens tilbagemelding til AT Dialog om løsning ved det næstfølgende RT Advisering om tilsyn Inddragelse af medarbejdere i løsning af tlbagemelding 35
Spørgsmål og kommentarer? Hvad er vigtigst: Løsning og fastholdelse af løsning eller læring og spredning? Hvordan fremmes et både og? Er resultaterne også relevante for arbejdsmiljørådgivningen hvordan? 36