Evaluering af virkemidler i arbejdsmiljøindsatsen

Evaluering af virkemidler i arbejdsmiljøindsatsen Arbejdsmiljøkonferencen D. 11. november 2013 Hans Jørgen Limborg Partner Teamarbejdsliv Peter Hasle Professor Aalborg Universitet

Efter et langt liv som murer sagde Ejnars ryg stop. Han var kun 56, så det lykkedes ham at finde et job som ejendomsfunktionær

Hans ven Niels var murerarbejdsmand, han fik tilkendt førtidspension

Tunge løft og uhensigtsmæssige arbejdsstillinger har altid været et vilkår i faget, som man må lære at leve med

Murerne vidste imidlertid godt, at det var de lave og de høje sten der sætter sig i ryggen

Men det er et frit fag med mange andre fordele.

Branchearbejdsmiljørådet for Bygge og Anlæg tager affære Arbejdstilsynet påpeger problemer ved opmuringsarbejde BAR BYG nedsætter i januar 2002 en arbejdsgruppe Mål: en branchevejledning med forbedring af murernes og murerarbejdsmændenes arbejdsmiljø. Arbejdsgruppen bad BST Danmark undersøge: Om det hjælper at ændre opmuringshøjden fra 1,5 m til 1 m? og om det har betydning hvad stenhovederne vejer, og fra hvilken højde stenene skal tages?

BST konkluderer At en ændret opmuringshøjde fra 1,5m til 1,0m forbedrer murernes arbejdsmiljø, men ikke arbejdsmændenes At anvendelse af stenhoveder med 80 mursten på forhøjet palle forbedrer både murernes og murerarbejdsmændenes arbejdsmiljø

Hvordan kan vi forstå vejen fra problemet erkendes til der sker ændringer på arbejdspladsen?

Virkemidler - regulering, incitamenter og viden

Den grundlæggende forståelse af arbejdsmiljøindsatsers effekt Mekanismer Indsats Kontekst Resultat Uddannelse Viden ændrer handlinger Afhænger af mulighed Resultat Teknisk mekanisme: Forandringen i arbejdsmiljøet (sikkerhedsskærmen, ventilationssystemet, hjælpemidlet til løft) Social mekanisme: Det som får mennesker til at handle anderledes (investere i løsninger, anvende løsninger) Det psykosociale arbejdsmiljø: Tekniske og sociale mekanismer falder typisk sammen

En udfoldet model for sammenhængen mellem virkemidler på samfundsniveau og effekt Virkemidler: Regulering Incitamenter Viden Indsats: Kombination af virkemidler Mekanismer: Tvang Normer Imitation Kontekst: Intern Ekstern Effekt: Ændringer i arbejdsmiljøet Bygger på Virkemidler (policy instruments) (Vedung 1998) Realistisk evaluering (Pawson & Tilley, 1997) Nyinstitutionel teori (DiMaggio & Powel, 1991) Aktørers behov for at fremstå legitime overfor omgivelser

Hvad skete der så med erkendelse af murernes arbejdsmiljøbelastninger?

I 2009/10 udgiver og formidler BAR BYG Branchevejledning om opmuringsarbejde Den indebærer bl.a. at: Mureren murer en meter i højden (cirka fra knæ til skulder), før stilladset løftes en meter op. Stenhoved og murerbalje er løftet op i 25-30 centimeters højde, Stenhoveder med 80 sten leveres på løftede paller Der anvendes tilpasset stenbør Stilladstraller gøres lettere

Hovedparten af arbejdspladserne forsøger at mure med 1 meterløft. Der er sjældent murere og murerarbejdsmænd, der har presset på Meterløftet er typisk indført af ledelsen. Begrundelsen: Påbud eller tydelig henstilling fra Arbejdstilsynet Ønske at være proaktiv i forhold til reglerne Krav til underentreprenører Kendskabet til 1 meterløft og branchevejledningen er udbredt

De arbejdsmiljømæssige konsekvenser af 1 meter løft Murerne mener at den ergonomiske belastning er mindre end med 1 ½ meterløft Murerarbejdsmændene oplever øget fysisk belastning Der skal løftes 50 % mere jern og traller til stillads Der skal leveres sten (og mørtel) flere gange på stillads,

At det har været muligt at gennemføre meterløft forudsatte: At overenskomsten/akkorden måtte justeres At parterne og branchearbejdsmiljørådet kunne overtale teglværker til at levere stenhoveder med 80 sten i stedet for 112 sten. Det kan de i dag mod ekstra betaling At en forhøjet palle i plast blev udviklet. Det skete med støtte fra Forebyggelsesfonden. Udbredelse ukendt At en ny stenvogn til stenhoveder med 80 sten blev udviklet og finansieret af en leverandør af stenvogne på initiativ fra BAR s murergruppe. Det skete Arbejdstilsynet, Dansk Byggeri og 3F enedes om at traller til stilladser udskiftes til letvægtstraller

Vejen til en ny standard for opmuringsarbejde Arbejdstilsynet gennemfører kontrol Ny standard vinder udbredelse Parterne enes om at der skal ske noget Parter og AT enes Vejledning laves og udbredes Arbejdstilsynet stiller krav til branchen De tekniske løsninger mangler Hjælpemidler udvikles af leverandører og med støtte fra Forebyggelsesfonden Dokumentation af belastninger i arbejdet

Hvordan kan vi evaluere denne indsats?

Hvad er evaluering Definition: En systematisk bedømmelse af udfald, præstationer og organisering af samfundsmæssige aktiviteter rettet mod fremtidige handlingssituationer Implikationer: Et anvendelsessigte En opdragsgiver med et defineret formål Konkret empirisk Den korte bane

Evalueringsparadigmer Klassisk effektevaluering Responsiv evaluering Monitorering og evaluering Evidensbaseret evaluering Effektevaluering Realistisk evaluering Pragmatisk evaluering

Klassisk effektevaluering Det historiske udgangspunkt Troen på det moderne fremskridtssamfund Positivismen som dominerende videnskabsteori Sandhed afgøres gennem testning af målbare hypoteser Samfundsmæssige problemer løses af store programmer som testes empirisk Problem: Forudsætninger (kontekst, implementering og politisk fokus) ændrer sig, inden det kan afgøres om et program testes positivt eller negativt

Responsiv evaluering (også proces og formativ evaluering) Formål: at skabe mening for interessenter og øge deres udbytte af et program Bygger på læringsteori og socialkonstruktivisme Observation af processer dominerende metode Kvalitativt men også kvantitativt Varierende grad af evaluator involvering Fra distanceret observatør over aktionsforskning til selvevaluering Problem: muligt præg af tilfældighed og præferencer

Monitorering og evaluering New Public Management (NPM) lægger vægt på markedsgørelse og accountability Monitorering er en løbende evaluering af om de forventede resultater nås Billede af udviklingstendenser - modsat den almindelige evaluerings engangsbillede Bygger typisk på key performance indicators (KPI) for proces- eller mellemvariable Problem: svært at forklare udviklingen i KPIer

Evidensbaseret evaluering Med NPM nye krav om sikkerhed for at noget virker Evidens er viden som kan sandsynliggøre om et udsagn er sandt eller falsk Stor strid om hvordan sandhed skal forstås Kontekstafhængighed eller -uafhængighed en væsentlig skillelinje Fx afgørende for i hvilken udstrækning evidens kan og skal præge dag til dag-handlinger

Effektevaluering (også summativ evaluering) Bygger på randomized control trials (RCT) som gylden standard Inspireret af den biomedicinske forskning Ideen er at kontekst kan neutraliseres gennem randomisering Alternativt og med lavere kvalitet er kontrolgrupper og før- og eftermålinger I princippet altid kvantitativt Problem: bl.a. randomisering vanskelig og manglende overførbarhed til andre kontekster

Realistisk evaluering (også virkningsevaluering) Bygger videnskabsteoretisk på kritisk realisme: Der findes en objektiv virkelighed, men den kan ikke direkte erkendes Spørgsmålet flyttes fra: om det virker til: hvordan det virker Fokus på kontekst og mekanismer Problem: kan kontekst og mekanismer operationaliseres og generaliseres

Pragmatisk evaluering Vi vil gerne vide lidt om det hele: Har det effekt? (effektevaluering) Hvordan virker det? (realistisk) Hvordan kan vi forbedre indsatsen? (responsiv) Hvad kan vi få indenfor den fastlagte ramme? Vi vil gerne have legitimeret vores aktiviteter (hvad vil vi helst ikke have at vide?) Den mest almindelige evalueringsform Problem: Tendens til overfladiske og uklare svar på de mange spørgsmål

Realistisk evaluering Evaluering retter sig mod sociale aktiviteter/ programmer Her findes ingen sikre kausale sammenhæng (naturlove) Sammenhæng mellem indsats og effekt er altid afhængig af kontekst Det interessante er at finde frem til halv-regulariteter (som regel vil noget bestemt ske hvis der tages højde for kontekst) Hvad virker for hvem under hvilke omstændigheder

Nøglebegreber i realistisk evaluering Antagelsen om hvordan indsatsen virker Kontekst Eksternt: Marked, stakeholders. Internt: Ledelse & organisation Programteori Resultat Mekanisme Ændringer i arbejdsmiljøet Årsagssammenhænge som fremkalder resultater Pawson, 1997 & 2006

Vigtige karakteristika ved virkemidler Teoribaserede Virkemidler omsættes aktivt af aktørerne Lange årsagskæder hvor alle led har betydning for resultatet Mekanismerne er ikke lineære og har mange feed back loops Mekanismerne er forankret i flere delvist overlappende sociale systemer Virkemidlerne er åbne systemer som selv forandrer de betingelser som de arbejder under Konklusion: Virkemidler komplekse og effekter svære at forudsige Pawson, 2006

Realistisk evalueringscyklus Hvad virker for hvem under hvilke omstændigheder Teori M: mekanisme K: kontekst R: resultat Empirisk analyse Hypotese Flerstrenget dataindsamling om M, K og R Observation Programteori: Hvad virker for hvem under hvilke omstændigheder

Realistisk evaluering af murercasen Kombination af virkemidler Regulering: Påbud fra AT om reduktion af belastninger Påbudspause mens løsninger bliver udviklet Påbud på grundlag af ny vejledning fra BAR Incitament: Tilskud til udvikling og afprøvning af hjælpemidler Viden: En vejledning med detaljeret beskrivelse af hjælpemiddel og arbejdsgange Formidlet gennem flere kanaler af alle involverede parter Mekanismer Tvang: Indledende påbud Påbud efter løsning er udviklet. Normer: Fælles budskab fra arbejdsgivere og fagforeninger signalerer at den ny metode er den etisk rigtige at anvende Imitation: Arbejdsgivere og murere observerer flere og flere tilfælde hvor metoden anvendes i praksis og overbevises dermed om at det er sådan man gør i branchen

Evaluering af samfundsmæssige arbejdsmiljøindsatser Formål med evaluering Læring, men også legitimering Før evaluering Udvikling af programteori Planlægning af evaluering Gennemførelse af evaluering Tilpasning af evalueringen til indsatsers omfang Selvevaluering (skab rum for kritisk refleksion) Professionel og fokuseret evaluering Professionel mere forskningspræget evaluering Løbende monitorering af aktiviteter

Evaluering af virksomhedens egne arbejdsmiljøindsatser Realistisk evaluering også relevant i denne sammenhæng Hvordan omsættes arbejdsmiljøpolitikker til konkrete ændringer som forbedrer arbejdsmiljøet (programteori)? Hvilke virkemidler har vi til fremkalde de ønskede handlinger? Hvilke mekanismer får dem til at virke? Hvordan spiller de sammen med virksomhedens kontekst?

Vi fortsætter diskussion på workshop 104 Læs mere om CAVIs forskning på: www.cavinet.dk Deltag i diskussioner om virkemidler i CAVIs netværk: http://dea.nu/cavi Hans Jørgen Limborg: hjl@teamarbejdsliv.dk Peter Hasle: hasle@business.aau.dk