Trivselsundersøgelser. Kvalitetsvurdering af en række af de mest anvendte koncepter

Transkript

1 Første udgave. November, Trivselsundersøgelser Kvalitetsvurdering af en række af de mest anvendte koncepter Indledning I Danmark er gennemførelsen af trivselsundersøgelser blevet en meget stor og omfattende forretning. Der er et stort antal aktører, som tilbyder deres produkter og tjenester, priserne er uigennemskuelige, og kvaliteten er vanskelig at bedømme for brugerne. Dertil kommer, at de mennesker, som tager stilling til, hvilket koncept der skal anvendes, sjældent har klare kompetencer inden for området. Alt dette gør det nødvendigt med en gennemgang og vurdering af de mest almindelige koncepter på markedet. Ingen af de bøger eller pjecer, der er udkommet om dette emne, tilbyder en egentlig vurdering af kvalitet. Man kan måske tilmed sige, at man går uden om emnet som katten om den varme grød. I nærværende rapport gennemgås nogle af de mest anvendte koncepter ud fra nogle kriterier for kvalitet, som gennemgås grundigt. Det er ikke nogen let opgave, idet mange af firmaerne på området er temmelig lukkede omkring datagrundlag, metoder osv. En anden grund til, at opgaven er kompliceret, er, at det samme firma kan arbejde med mange koncepter, mens det samme koncept kan anvendes af flere firmaer! Af disse grunde anses denne rapport ikke for at være den endelige. Den udgives som første udgave, og alle er velkomne til at komme med forslag til forbedringer, som der løbende vil blive taget stilling til. Den foreløbige konklusion er, at kvaliteten af de fleste koncepter er overraskende lav. Det er tilmed sådan, at de mest udbredte koncepter ser ud til at være de ringeste. Der er således et stort behov for kvalitetsforbedringer på området. Desværre ser det ud til, at kunderne de private og offentlige arbejdspladser er tilfredse med det, de får. At lav kvalitet og høj kundetilfredshed går hånd i hånd ser man også på andre områder, men det er ikke desto mindre tankevækkende. November, Tage Søndergård Kristensen.

2 2 1. Rapportens kvalitetskriterier I det følgende er de forskellige koncepter gennemgået og vurderet på grundlag af fem kriterier: 1. Den statistiske kvalitet. Er de målte dimensioner valide og målt ved hjælp af relevante spørgsmål? Er spørgsmålene af god kvalitet? 2. Dækning. Er undersøgelsen dækkende for det psykiske arbejdsmiljø, eller er der store hvide pletter på landkortet. 3. Anvendes der korrelationer mellem dimensioner som belæg for årsagssammenhænge? Baseres anbefalinger til virksomhederne på disse korrelationer? 4. Er rapporterne let læselige, overskuelige og forståelige? Får man overblik og indsigt? 5. Hvilke former for benchmark anvendes der. Specielt fokuseres der på anvendelsen af faste benchmark. Der gives mellem 0,0 og 1,0 point for hver af de fem punkter. Man kan altså i alt få minimum 0 og maksimum 5 point for kvalitet. De enkelte koncepter er blevet vurderet således: Enalyzer. Bedømmelse: 2,6. Ennova: Bedømmelse: 2,1. Interresearch: Bedømmelse: 2,7 Munintech: Bedømmelse: 4,1. Great Place to Work: 3,9. Trivselmeter: Bedømmelse: 1,8. 2. Kriterier for vurdering 2.1. Statistisk kvalitet Dimensionernes pålidelighed og gyldighed Når man gennemfører trivselsmålinger, anvender man ofte skalaer, som består af flere spørgsmål, som sammenfattes til en enkelt dimension. Det kan fx være indflydelse i arbejdet, arbejde-familie konflikt eller stress. Når man gør dette, er det vigtigt, at de spørgsmål, som anvendes, faktisk måler det samme. Her begår man ofte den fejl, at spørgsmål, som måler forskellige egenskaber ved arbejdsmiljøet, alligevel rubriceres under den samme hat og tælles sammen til den samme dimension. Herved går der vigtig information til spilde, idet billedet bliver mere sløret. Det svarer til at blande farverne sammen på en pallet. Detaljer og nuancer går tabt. Et klart eksempel er de undersøgelser, hvor arbejdstempo og arbejdsmængde blandes sammen. Arbejdstempo handler om intensiteten i arbejdet, altså hvor hurtigt, man arbejder. Arbejdsmængde handler om lang arbejdsdag, om uendelige krav, mange deadlines osv. Høj arbejdstempo finder man typisk blandt akkordarbejdere, mens

3 3 høj arbejdsmængde typisk findes blandt højt uddannede. Når man blander de to ting sammen, finder man intet klart mønster, og kortlægningen bliver misvisende. Pålidelighed handler om, hvorvidt man får det samme resultat ved gentagne målinger, mens gyldighed handler om, hvorvidt man måler det, man ønsker at måle. Begge dele kan konstateres gennem forskellige statistiske tests, men man skal også huske at bruge sin erfaring og indsigt, når man ser på det anvendte spørgeskema. Man kan ofte se fejl og mangler med det blotte øje Dokumentation af statisk holdbarhed Et gennemarbejdet skema er baseret på en række statistiske tests, som man laver rutinemæssigt, før man tager skemaet i anvendelse. For eksempel går det ikke an at anvende spørgemål, der giver lav svarprocent. (Over 5% ubesvarede er uacceptabelt. Gerne omkring 1%). For det andet skal svarene indeholde information. Hvis en stor andel benytter samme svarkategori, har svarene meget begrænset informationsværdi. For det tredje er det en god ide at tjekke den interne pålidelighed gennem anvendelsen af Cronbach s alpha, som er et standardmål på feltet. Mere avancerede analyser kan også anvendes, men det er sjældent set, når det drejer sig om de kommercielle skemaer Hvor dækkende er undersøgelsen? Når man gennemfører en kortlægning af det psykiske arbejdsmiljø, er det vigtigt, at der ikke er store huller i kortlægningen. På dette felt er der naturligvis ingen faste regler, men man kan alligevel opstille nogle kriterier for, om kortlægningen er dækkende eller ej. Det er fx vigtigt, at følgende brede områder er dækket ind: a. Krav i arbejdet. Det kan være følelsesmæssige krav, arbejdstempo, høj arbejdsmængde eller andre relevante krav. b. Arbejdets organisering. Her vil man typisk se på grad af ensformighed, indflydelse på eget arbejde, arbejdstidssystemer, udviklingsmuligheder og evt. lønsystemer. c. Relationer i arbejdet. Typiske dimensioner er social støtte, konflikter, mobning, videndeling, gensidig respekt, fællesskab, chikane, kollegaskab m.v. d. Individuelle dimensioner med relation til arbejdet. Her kan der være tale om stolthed over arbejdet, vurdering af arbejdets kvalitet, job tilfredshed, arbejdsglæde, motivation, engagement, mening i arbejdet, familie-arbejde konflikt osv. e. Ledelse. Her kan man måle forskellige egenskaber ved udøvelsen af ledelse så som generel ledelseskvalitet, anerkendende ledelse, social støtte fra lederen, feedback fra lederen osv. f. Arbejdspladsens sociale kapital. Typiske dimensioner er her tillid, retfærdighed, samarbejdsevne, respekt, fælles mål, og fælles normer. g. Psykisk velbefindende. Man vil i denne sammenhæng ofte se på stress, udbrændthed, selvvurderet helbred og evt. depressive symptomer. Undertiden vil det også være relevant at se på forhold med relation til borgere eller kunder. Her kan vold og trusler om vold ofte være vigtige dimensioner, men andre kan også komme på banen.

4 4 Hvis kortlægningen mangler en eller flere af disse hovedområder i det psykiske arbejdsmiljø, må den siges at være mangelfuld. Der er ingen der bryder sig om at færdes med et kort i hånden, som har store hvide områder. Undertiden hører man konsulenter og andre give udtryk for, at kortlægningen skal være anerkendende eller positiv. Man bryder sig ikke om problemfokuserede målinger, der kun er ude på at finde fejl og mangler ved arbejdspladsen. For eksempel siger man, at fokus på rollekonflikter eller stress er negativt, mens fokus på social støtte eller indflydelse er positivt. Man arbejder ofte med en forestilling om positive faktorer i arbejdsmiljøet. Hele denne argumentation hviler på en fundamental misforståelse. En faktor i arbejdsmiljøet er ikke positiv eller negativ i sig selv. Høj social støtte er positivt, men den modsatte ende af dimensionen hedder lav eller ingen social støtte, og det er ikke positivt. Høj indflydelse i arbejdet er positivt, men det er lav indflydelse ikke. Alle dimensionerne i arbejdet er værdineutrale, og de kan antage både positive og negative værdier, afhængig af, om de er høje eller lave. Også krav kan være positive. Krav, der er passende eller måske lidt for store, er betingelsen for at kunne udvikle sig. Ofte kalder vi det udfordringer, og de er nødvendige for at vokse og lære i arbejdet. At kalde krav for negativt er noget vrøvl. Helt grundlæggende siger man, at det psykiske arbejdsmiljø har en dobbeltkarakter. I den ene ende har vi et dårligt og belastende arbejdsmiljø, som kan give anledning til stress, dårlig trivsel, fravær, lav produktivitet osv. I den anden har vi et stimulerende og udviklende arbejdsmiljø, hvor de ansatte trives, udvikler sig og producerer ydelser af høj kvalitet. Enkelte af de forhold, der måles i trivselsmålinger er i sagens natur negative. Det gælder fx for mobning, vold og chikane. Men disse handlinger er ikke dimensioner, som måles på skalaer. Der er tale om negative handlinger, som ofte udgør store belastninger for de ansatte. Man kan vælge ikke at medtage disse former for krænkende adfærd i trivselsmålingerne, men det er næppe positivt og anerkendende, at man udelukker krænkede kolleger fra at gøre opmærksom på, hvad de har været udsat for Brugen af korrelationer Bliver korrelationer fortolket som årsagssammenhænge? I mange af de koncepter, der anvendes i forbindelse med trivselsmålinger, lægger man stor vægt på korrelationsanalyser. (En korrelation er en statistisk sammenhæng mellem to dimensioner. Normalt kan korrelationer variere fra +1,00 (størst mulig positiv sammenhæng) til -1,00 (størst mulig negativ sammenhæng), mens en korrelation på 0,00 står for ingen sammenhæng). En af de helt store faldgruber i denne sammenhæng er at fortolke en korrelation som tegn på en årsagssammenhæng. Hvis for eksempel der er en korrelation mellem høje kvantitative krav og stress, så konkluderer man, at høje kvantitative krav giver stress. Undertiden ser man, at korrelationsanalyser direkte bliver brugt til at identificere de dimensioner, som det bedst kan betale sig at arbejde med. Man gør det, at man undersøger, hvilke dimensioner,

5 5 der korrelerer med de ansattes trivsel, og så konkluderes det, at disse dimensioner er årsager til høj/lav trivsel. At forveksle en statistisk sammenhæng med en årsagssammenhæng er ikke noget, der er enestående for trivselsmålinger. Man finder denne fejl overalt både i forskningen og i den offentlige diskussion. Men det bliver det jo ikke bedre af. I det følgende angives syv grunde til, at der er tale om en alvorlig misforståelse Tidsfaktoren I litteraturen om årsagssammenhænge (kausale sammenhænge) er der udbredt enighed om, at definere årsager således: A er årsag til B, hvis A påvirker sandsynligheden for B. Altså: Indflydelse i arbejdet er årsag til stress, hvis graden af indflydelse påvirker graden af stress. (I dette tilfælde er der en såkaldt negativ korrelation: Høj indflydelse giver lav stress). Af denne definition følger det logisk, at en årsag skal komme før en virkning. Det er altså vigtigt at have styr på tidsfaktoren, når man studerer årsagssammenhænge. Hvis der er en positiv korrelation mellem at spise chips og forekomsten af overvægt, betyder det så, at man bliver tyk af at spise chips? Ja, måske. Men hvis der er en positiv korrelation mellem at bruge kunstige sødemidler i kaffen og forekomsten af overvægt, betyder det så også, at man bliver tyk af at spise kunstige sødemidler? Nej, det er lige omvendt: det er overvægten, der er årsag til brugen af sødemidlerne. En korrelation kan altså afspejle årsagssammenhænge i begge retninger, og det pudsige er, at man kun kan bruge korrelationen til noget fornuftigt, hvis man kender årsagssammenhængens retning i forvejen. Og hvorfor skal man så lave undersøgelsen? Dette betyder, at man ikke kan sige noget om årsagens retning, blot ved at se på en korrelation. Hvis man fx finder, at trivsel korrelerer højt med motivation, så kan man ikke sige, at høj trivsel giver høj motivation eller omvendt. Man kan kun sige, at ansatte med høj trivsel har en tendens til også at være mere motiverede Forstyrrende faktorer En anden ting, der gør det svært at studere årsagssammenhænge, er forekomsten af forstyrrende faktorer (forskerne kalder dem confoundere). Hvis man fx finder en positiv korrelation mellem arbejde-familie konflikt og stress, så kan det meget vel skyldes, at kvinder ligger højere på begge dimensioner end mænd. Når man så ser på sammenhængen for mænd og kvinder hver for sig, så forsvinder den. Køn er altså confounder. Et andet eksempel er den statistiske sammenhæng mellem (trusler om) vold og udbrændthed. Betyder det mon, at man bliver udbrændt af et være udsat for (trusler om) vold? Ikke nødvendigvis, det kunne skyldes en forstyrrende faktor som fx at arbejde med mennesker. Folk der arbejder med mennesker kunne jo have både mere udbrændthed og større risiko for vold. At arbejde/ikke arbejde med mennesker er altså confounder. I forskningen tager man normalt højde for confounding på to måder. Den ene måde er stratificering, altså at se på sammenhængene særskilt for mænd og kvinder, særskilt for forskellige statuslag osv. Den anden måde er at gennemføre multivariate analyser, som er statistiske analyser, hvor man tager højde for en række potentielle forstyrrende faktorer i selve de statistiske analyser. I arbejdsmiljøforskningen er der en række confoundere, som man ofte skal kontrollere for. Det drejer sig fx om

6 6 livsstilsfaktorer, social status, køn, alder og lignende. Altså faktorer, som man i arbejdsmiljøsammenhæng ikke har fokus på Selektion Man taler ofte om to slags bias (skævhed): Selektions-bias og informations-bias. Ved selektionsbias forstår man en skævhed, som skyldes en eller anden form for selektion til en bestemt gruppe. Denne selektion (udvælgelse) kan være positiv eller negativ, formel eller uformel, personlig eller strukturel og primær eller sekundær. En positiv selektion finder sted, når man fx stiller høje krav til sundhed, kvalifikationer eller fysik til et bestemt job. Hvis man fx finder, at piloter er særligt sunde, så må man tage højde for, om de allerede var sunde, før de blev piloter. Negativ selektion har man fx fundet i forbindelse med rekruttering til SOSU-assistenter, som allerede før uddannelsen har højere BMI, flere rygere osv. Når man senere finder større sandsynlighed for førtidspension i denne gruppe, kan det med andre ord skyldes den negative selektion ind i gruppen. Formel selektion finder sted, når man fx tjekker bestemte egenskaber før ansættelsen i et bestemt firma som et led i udvælgelsen af ansatte. Nogle firmaer tjekker således forekomsten af allergiske dispositioner hos potentielt ansatte. Uformel selektion finder sted, når udvælgelsen sker, uden at der er regler om det. Et eksempel kan være, at folk med stort alkoholforbrug bliver tiltrukket af at arbejde inden for hotel- og restaurationsbranchen, hvor der er let adgang til alkohol, og hvor man ofte vil kunne indtage en vis mængde i arbejdstiden uden at vække særlig opsigt. Den personlige selektion finder sted, når det er den enkelte, der afgør, hvor man vil søge ansættelse. For eksempel finder man ofte en meget stærk selektion i forbindelse med ansættelse i job med skiftehold. Personer, der i forvejen har problemer med søvn eller fordøjelse, vil i reglen sørge for at holde sig væk. Strukturel selektion finder sted, når systemet står for udvælgelsen, som det jo sker i forbindelse med forfremmelser i de fleste organisationer. Det kan være en medvirkende årsag til, at ledere er mindre stressede end andre. Man udvælger jo ikke folk til at være ledere, hvis de i forvejen er stressede! Og endelig skelner man mellem primær og sekundær selektion. Primær er selektion ind i et job, mens sekundær selektion er ud af jobbet. Man taler således om healthy worker effekten, som handler om, at folk i arbejde har lavere dødelighed og bedre helbred end folk uden arbejde. Det skyldes ikke nødvendigvis, at arbejdet altid er sundt, men nok så meget, at folk med dårligt helbred dels ikke kommer ind på arbejdsmarkedet (primær selektion) og dels forlader det før tiden (sekundær selektion). Alt i alt er det altså en rigtig god ide at huske på selektionseffeker, når man skal vurdere korrelationer på arbejdsmiljøområdet. Det kan nemlig ikke lade sig gøre at kontrollere for dem ved hjælp af statistiske metoder. I sjældne situationer kan man tage højde for dem. Et berømt eksempel er Morris gamle undersøgelse af konduktører og chauffører i London s to-dækker busser. Morris havde fundet, at chaufførerne havde højere hyppighed af hjertekarsygdomme end konduktørerne. Han havde også fundet, at chaufførerne var tykkere end konduktørerne. Han stillede derfor sig selv det spørgsmål, om de måske var tykkere, allerede før de blev ansat som chauffører. Han vidste ikke rigtigt, hvordan han skulle undersøge den hypotese, men så foreslog hans kone, at han kunne spørge skrædderen, der syede uniformerne. Det viste sig at være en god ide, for skrædderen havde mål (liv-

7 7 vidde, højde osv.) for alle chauffører og konduktører lige fra deres ansættelse og frem. Disse data fik Morris fat i, og det viste sig ganske rigtigt, at chaufførerne var tykkere end konduktørerne, allerede før de blev ansat. Morris kunne også vise, at forskellen i tykkelse blev større med årene. Der var altså tale om både selektion og en årsagssammenhæng Informationsbias En anden form for skævhed, der kan skabe falske korrelationer, er informations-bias. Denne form for bias handler om, at forskellige grupper har forskellig tilbøjelighed til at rapportere om de ting, de bliver spurgt om. Et godt eksempel er sammenhængen mellem høje kvantitative krav i arbejdet (tempo, tidspres) og forekomsten af stress. Denne sammenhæng bliver ofte tolket som belæg for, at høje krav giver stress. Imidlertid er der god evidens for at sige, at det i vidt omfang er sådan, at folk, der har stress, rapporterer om højere krav end folk, der ikke har stress (selv om kravene objektivt er de samme). Der er med andre ord tale om informationsbias. Denne fejlkilde har man kendt i mange år. For eksempel er det et stort problem i såkaldte casekontrol undersøgelser, hvor man spørger både folk med et bestemt problem (fx at have fået et misdannet barn) og en kontrolgruppe (med raske børn), hvad man har været udsat for under graviditeten. Her finder man tit, at den gruppe, der har et problem, rapporterer om udsættelse for flere skadelige forhold (stress, pillebrug, rygning osv.) end dem uden problemet. Men skyldes dette, at de mennesker, der har et problem, har gransket deres hukommelse bedre og/eller overdriver det, de har været udsat for? Ofte, ja. Kort sagt: informationsbias. I spørgeskemaundersøgelser har man tit det problem, at både årsag og virkning er målt ved hjælp af det samme metode, nemlig et spørgeskema. Her får man en masse sammenhænge forærende, idet folk, der har dårligt helbred, er stressede, har dårlig trivsel osv. vil svare mere negativt på næsten alting. Og omvendt med jubelidioterne, der negligerer både helbredsproblemer og arbejdspladspåvirkninger. (Det, man ikke snakker om, er ikke et problem!). Bare der er 10% brokkehoveder og 10% fornægtere, vil man få en mængde korrelationer forærende, som reelt kun skyldes informationsbias. (Når både årsag og virkning er målt med samme redskab, kaldes det common method variance, og de sammenhænge, der findes, kaldes trivielle. Man taler så om the triviality trap eller om tautologi-fælden ). Informationsbias er reelt skyld i en lang række af de statistiske sammenhænge, som man i trivselsundersøgelser betragter som udtryk for årsagssammenhænge Variation Som om det ikke kunne være nok, er der endnu et problem, der næsten altid overses. Man kan nemlig godt have en meget stærk årsagssammenhæng uden at der er nogen korrelation i den undersøgte befolkning. Tænk blot på sammenhængen mellem tobaksrygning og lungekræft. De fleste kan umiddelbart forstå, at der ikke er nogen sammenhæng mellem rygning og lungekræft i befolkninger, hvor ingen ryger. Men det er mindre kendt, at man heller ikke kan finde nogen sammenhæng, hvis alle ryger. Enhver analyse består nemlig i, at man sammenligner nogle, der er udsatte for noget (fx tobaksrygning) med nogle, der ikke er. Hvis alle ryger, vil man ikke kunne sammenligne med ikkerygere, og det betyder, at man vil finde sammenhænge med en mængde andre forhold end rygning

8 8 (fx trafik, asbest osv). I en befolkning, hvor alle ryger, vil man således frikende den vigtigste risikofaktor af alle! På en stor arbejdsplads undersøgte man for nylig sammenhængen mellem social kapital og fravær, og det viste sig, at der ikke var nogen sammenhæng, hvilket undrede den lokale HR afdeling. Alle andre finder jo en sammenhæng! En nærmere analyse viste imidlertid, at alle afdelinger havde nogenlunde det samme lave fravær (3-5%), og at alle afdelingerne havde nogenlunde det samme niveau af social kapital. Der var altså ingen variation i de to faktorer, så det var ikke så underligt, at der ikke var nogen korrelation. Men det udelukker på ingen måde, at den pænt høje sociale kapital kan have været en vigtig årsag til det lave fravær Store korrelationer bedre end små? En almindelig misforståelse er, at høje korrelationer (fx i området 0,5 til 0,8) er tegn på, at man har fat i noget vigtigt og betydningsfuldt. Undertiden ser man, at alle de målte dimensioner bliver korreleret med et eller nogle få indikatorer som fx trivsel eller arbejdsglæde. Hvis man så finder nogle høje korrelationer, siger man, at de pågældende dimensioner har høj forklaringskraft eller lignende. Det er underforstået, at man her har fundet nogle vigtige årsager til høj trivsel. Af alle de grunde, der er nævnt ovenfor, er dette en misforståelse. Men der er yderligere to forhold, der gør, at den slags tal-eksercits er en misforståelse. For det første er en meget høj korrelation tegn på, at man har målt (næsten) det samme på to forskellige måder. Altså at man har spildt svarpersonernes tid. Generelt gælder det, at hvis korrelationen er på 0,7 eller højere, så ligger de to dimensioner så tæt på hinanden, at man kan sløjfe den ene uden at mangle noget. (Det ser man fx, når trivsel korrelerer med motivation, engagement, selvværd, osv.). For det andet er det sådan, at når noget korrelerer højt med trivsel, så er det netop ikke en årsag, men en anden indikator, der er påvirket af de samme bagvedliggende faktorer. Og det er netop disse bagvedliggende faktorer, man hellere skulle fokusere på, selv om korrelationerne næsten altid er mere moderate Korrelationer - vejen til handling? Den mest fundamentale misforståelse i forbindelse med brugen af korrelationer handler ikke om statistik, men om (manglende) lederskab. Ofte ser man i rapporter om trivselsmålinger, at de faktorer, der udviser høje korrelationer med trivsel, motivation og involvering, bliver fremhævet som de faktorer, som man skal arbejde med. Det fremhæves, at de høje korrelationer viser, at der her er noget at hente. Som det er vist ovenfor, er dette langt fra sikkert, men selv om det var rigtigt, ville det stadig være forkert. Ledelse er nemlig aldrig et spørgsmål om at finde en opskrift på handling hos en computer. Det er en udbredt skik måske især i den offentlige sektor at man i forbindelse med trivselsmålinger laver handlingsplaner, hvor man dels ser på røde dimensioner (hvor man ligger dårligt ) og dels ser på korrelationer (med stor forklaringskraft ). Man får så besked på at lave handlingsplaner, hvor man gør noget ved de pågældende dimensioner. En sådan mekanisk tilgang til,

9 9 hvordan man ændrer og leder en organisation er naiv og betyder kun, at man spilder mange ressourcer på at arbejde med trivselsmålinger, som ikke fører til forbedring af arbejdsmiljøet Rapport kvalitet En god rapport om psykisk arbejdsmiljø skal give overblik og indsigt. Den skal være umiddelbart forståelig, og den må ikke være for lang. Det er desværre uhyre sjældent at se en rapport, der opfylder disse betingelser. a. Forståelighed. Forståeligheden handler om flere ting. Er de anvendte begreber og udtryk umiddelbart forståelige, eller bliver de forklaret på det relevante sted? Kan grafer og symboler let tolkes og forstås? Kan man se, hvordan skalaer er sammensat og hvad points betyder? b. Overskuelighed. Er rapporten for lang? Er der alt for mange data og overflødige tal? Kan man let finde rundt i den? Er det tydeligt, hvad der sammenlignes med hvad? Hvad bruges som benchmark? 2.5. Brugen af benchmark En af udfordringerne i forbindelse med tolkningen af trivselsrapporter er, at de umiddelbare resultater sjældent er så lette at fortolke. Hvis fx 60% har tillid til ledelsen eller 20% er stressede, er det så godt eller skidt? Det centrale problem er, at tallene ikke taler for sig selv. I de allerfleste tilfælde spørger folk: Hvordan ligger det normalt? eller Hvordan scorer andre arbejdspladser?. Man efterspørger med andre ord et benchmark. (Et benchmark er et mærke på en høvlbænk, som snedkeren satte for at være sikker på, at de forskellige emner havde det rigtige mål). Behovet for et benchmark er endnu større, når svarene på de stillede spørgsmål transformeres til en score på en skala fra 0 til 100, fra 1 til 6 eller noget helt tredje. Sådanne scores er nogenlunde lige så mystiske som en kolesterolmåling. Er et kolesteroltal på 4,5 godt eller skidt? Det er der vist ikke så mange, der ved, uden at få et benchmark af lægen. Brugen af benchmark er ikke så simpelt, som man måske lige skulle tro. Faktisk anvendes der mange forskellige typer af benchmark, og de forklares sjældent særlig godt. Desuden er der en del fundamentale misforståelser i forbindelse med benchmark, der gør ondt værre. Dette illustreres af en lille historie fra det virkelige liv. På en stor offentlig arbejdsplads havde man besluttet sig for at udvikle sit eget koncept for trivselsmålinger. Man ønskede ikke at anvende samme koncept som man gjorde på andre arbejdspladser inden for den samme sektor. Da trivselsmålingen var gennemført, og resultaterne forelå, spurgte den øverste direktør: Nå, hvordan er vores arbejdsmiljø så? Godt, forhåbentlig?. Det ved jeg ikke noget om, svarede arbejdsmiljøkonsulenten. Hvad skal det sige? spurgte direktøren. Det må du da vide, når vi lige har kortlagt arbejdsmiljøet. Nej, for vi kan ikke sammenligne med andre, så vi ved ikke, om vi ligger godt eller skidt, svarede konsulenten. Hvorfor f. kan vi ikke sammenligne med andre? spurgte direktøren. Fordi ledelsen bestemte, at vi skulle udvikle vores helt eget koncept, svarede konsulenten. Først da forstod direktøren og de andre i ledelsen, hvad de havde besluttet. Og de indrømmede aldrig deres fadæse.

10 10 Denne lille tildragelse fra det virkelig liv illustrerer en sammenhæng, man ofte møder på området: De personer, der træffer de afgørende beslutninger om trivselsmålinger, er ofte dem, der har mindst indsigt i området. Generelt findes der følgende former for benchmark: Internt benchmark Internt benchmark kan man benytte, når man har anvendt et instrument, som ikke har været anvendt af andre, eller hvis man ikke kender resultaterne fra andres kortlægninger. Hvis det er en større organisation, kan man sammenligne forskellige arbejdspladser, afdelinger, fag, aldersgrupper etc. med gennemsnittet for hele organisationen. Dette kan man undertiden gøre i flere niveauer. For eksempel kan man i en region sammenligne de forskellige hospitaler med regionsgennemsnittet, og de forskellige hospitalsafdelinger med både hospitalsgennemsnittet og regionsgennemsnittet. Hvis der er mindre afdelinger eller afsnit kan man fortsætte nedefter i organisationen, så længe dette giver mening. Sådanne sammenligninger kan ofte være både spændende og meget relevante. Men de belyser naturligvis ikke, hvordan en given region ligger i forhold til andre regioner, eller hvordan regionen ligger i forhold til resten af den offentlige sektor eller til hele arbejdsmarkedet Eget benchmark Hvis man på arbejdspladsen har gennemført en trivselsmåling tidligere med samme instrument, kan man sammenligne over tid og dermed besvare spørgsmålet: Hvordan har arbejdsmiljøet udviklet sig siden sidst? Dette er naturligvis et yderst relevant spørgsmål, og anvendelsen af eget benchmark kan derfor altid anbefales, når man har mulighed for det. Man skal selvfølgelig være klar over, at det sjældent er de samme personer, der svarer på de to tidspunkter. Det er der ikke noget problem i, hvis begge målinger er repræsentative (dvs. har en rimelig høj svarprocent). Det store problem i forbindelse med eget benchmark er, at mange organisationer ændrer sig hele tiden. Det betyder, at der kan være sket sammenlægninger, outsourcing, indskrænkninger, organisatoriske omlægninger osv. Alle disse ting vil ofte gøre sammenligninger over tid mindre værdifulde. Ændringerne i arbejdsmiljøet vil være påvirkede af alle de strukturelle ændringer og kan derfor ikke entydigt fortolkes som udtryk for forbedringer eller forværringer af arbejdsmiljøet i sig selv Fast benchmark Fast benchmark indebærer, at man anvender det samme benchmark på tværs af de stillede spørgsmål og/eller dimensioner. På en skala fra 1 til 6 kan man fx tolke 1-2,9 som dårligt, 3-4,9 som middel og 5-6 som godt. Tilsvarende for skalaer, der går til 100, hvor man fx vurderer 80 og derover som godt. Sådanne faste benchmark er tillokkende, idet man på denne måde har en målestok lige ved hånden. I forlængelse af denne tankegang laver man ofte lister over de ti bedste og de ti dårligste dimensioner eller spørgsmål. Lige så almindelig brugen af fast benchmark er, lige så misforstået er den. Det giver nemlig ingen mening at sammenligne spørgsmål eller dimensioner på tværs. Al erfaring viser, at hvert spørgs-

11 11 mål og hver dimension har sit eget naturlige leje, som kan variere meget fra spørgsmål til spørgsmål. Scoren afhænger både af emnet og af spørgsmålsformuleringen. Det skal pointeres, at brugen af faste benchmark ikke altid er problematisk. Som et eksempel kan nævnes brugen af karakterer i skolen. Her har man gjort sig stor umage for at tilvejebringe kriterier for de forskellige karaktertrin, således at de kan bruges på tværs af fag, aldersgrupper og skoler. Denne anvendelse er naturligvis ikke uden problemer, idet der næsten altid er et element af subjektivitet i bedømmelserne. Ikke desto mindre anvendes disse faste benchmarks ikke alene til at bedømme elevernes og skolernes faglige niveauer, men også som kriterier for adgangen til uddannelser og meget andet. Dette kræver, at anvendelsen af faste benchmarks på dette felt har en vis legitimitet Eksternt benchmark Eksternt benchmark betyder, at en organisation eller arbejdsplads kan sammenligne sig med noget uden for sig selv. Det kan fx være det nationale gennemsnit for hele arbejdsmarkedet, den offentlige sektor, alle kommuner i landet, hele finanssektoren eller andre lignende grupperinger. Når man har et eksternt bechmark, kan man besvare spørgsmålet om, hvordan vores samlede arbejdsmiljø ligger. For eksempel kan en kommune sammenligne sig med alle kommuner i landet eller med hele arbejdsmarkedet. Det er vigtigt at bemærke, at brugen af eksternt benchmark ikke udelukker, at man samtidigt foretager interne sammenligninger og/eller sammenligninger med egne tidligere målinger. Eksternt benchmark giver muligheder for alle kombinationsmuligheder. Det unikke ved det eksterne benchmark er, at man på denne måde kan finde dimensioner, hvor alle de undersøgte arbejdspladser har styrker eller svagheder. Lad os tage kortlægningen af arbejdsmiljøet i folkeskoler som eksempel. Hvis man vælger at sammenligne hver enkelt skole med alle landets skoler (hvilket umiddelbart kunne se ud til at være en god ide), så vil man ikke opdage de dimensioner, hvor alle skoler har store udfordringer (for eksempel høje følelsesmæssige krav eller familie-arbejde konflikt). Man vil heller ikke opdage de dimensioner, hvor alle ligger rigtig godt (fx mening i arbejdet eller indflydelse). Dette betyder, at halvdelen af skolerne vil få at vide, at de har små følelsesmæssige krav, selv om de ligger højt (i forhold til landsgennemsnittet), og at halvdelen vil få at vide, at de har lav indflydelse, selv om man ligger pænt på dimensionen. Kun brugen af et eksternt benchmark, som omfatter andet end skoler (fx hele arbejdsmarkedet) vil kunne sikre, at man ikke begår den slags fejl. Af disse grunde kan anvendelsen af eksternt benchmark altid anbefales. Jo mere eksternt, jo mere informativt. Dette udelukker ikke, at man også kan sammenligne sig med nogen man ligner, men hvis man kun har et homogent benchmark, kan man ikke gå den anden vej Intet benchmark Undertiden kan man vælge at se helt bort fra benchmarks og i stedet se på tallene som de er. Dette kan i nogle tilfælde være en god og simpel tilgang. Man kan fx blive enige om, at mindst 90% af de ansatte skal være meget eller yderst tilfredse med arbejdspladsen, uanset hvad andre arbejdsplad-

12 12 ser ligger på. En sådan tilgang har nogle klare fordele, hvis den er gennemtænkt og følges op på en seriøs måde. På andre felter kan man have den tilgang, at et tilfælde er et tilfælde for meget. Det gælder for eksempel for chikane, vold og mobning. Her kan et benchmark virke kynisk og give indtryk af, at man fx er tilfreds med at ligger bedre end landsgennemsnittet for mobning på cirka 10%. På dette område kan det ikke anbefales at arbejde med benchmarks overhovedet. 3. Vurdering af en række koncepter, der udbydes af konsulentfirmaer Enalyzer. Samlet bedømmelse: 2,6 point (ud af 5 mulige). Enalyzer repræsenterer sig således: Enalyzer bistår virksomheder og offentlige myndigheder med at fastholde og udbygge deres relationer. Værdifuld information om eksempelvis medarbejdernes trivsel, kundernes loyalitet og borgernes tilfredshed indsamles med relationsmålinger via netbaserede spørgeskemaer. Enalyzer er pioner og markedsleder. Vores målingskoncepter er forankrede i skræddersyede softwareløsninger og kompetent rådgivning, som skaber værdi. Vi kalder det RelationsIntelligence, fordi virksomheden får konkret viden om den aktuelle situation såvel som et solidt beslutningsgrundlag for fremtiden. Bedømmelsesgrundlag: 4 kortlægninger, hvoraf de 3 er kommunale og en handler om en statslig myndighed. Dertil kommer en analyse af fravær. Enalyzer er et af de store konsulentfirmaer på området. Man anvender et koncept, hvor hovedtrækkene i opbygningen går igen fra undersøgelse til undersøgelse. Derimod varierer de konkrete spørgsmål fra kortlægning til kortlægning. Der er således ikke tale om et helt fast koncept. a. Statistisk kvalitet. Bedømmelse: 0,3. Der redegøres ikke for pålidelighed eller gyldighed i rapporterne. Derimod kan man godt finde svarprocenter og svarfordelinger. De anvendte dimensioner har så godt som alle steder manglende endimensionalitet (lav intern pålidelighed). For eksempel består dimensionen psykisk arbejdsmiljø af spørgsmål om arbejdstempo, arbejdsmængde, indflydelse, flextid, rolleklarhed, mening, tryghed og (trusler om) vold. I en anden kortlægning hører spørgsmål om ledelse og forudsigelighed under overskriften indflydelse. Denne mangel er alvorlig og gør, at mange nuancer og detaljer går tabt. b. Dækkende undersøgelse? Bedømmelse: 0,8. De gennemsete undersøgelser er rimeligt dækkende for det psykiske arbejdsmiljø. Dog mangler der stort set dimensioner så som stress, udbrændthed, psykisk velbefindende osv. Der er enkelte spørgsmål om social kapital, men disse optræder under andre dimensioner og analyseres ikke eksplicit. I praksis dækkes denne dimension således dårligt.

13 13 c. Brug af korrelationer. Bedømmelse: 0,7. Der bruges ikke korrelationer i de gennemsete undersøgelser. Disse bruges imidlertid i meget stort omfang i analysen af fravær, som knytter sig til en af målingerne. Her skelnes der ikke mellem statistisk sammenhæng og årsagssammenhæng. Dertil kommer, at analysen stort set er uforståelig og ubrugelig. d. Rapportens kvalitet. Bedømmelse: 0,6. Rapporterne er overskueligt opbygget og ret lette at forstå. Dog er det en alvorlig fejl, at den farvekode, man indleder med (rød, gul og grøn for dårligt, middel og godt), forlades lidt længere fremme i rapporterne, hvor de samme farver har andre betydninger (de symboliserer fx forskellige årstal for kortlægningerne). Der er også fejl rundt omkring, som forvirrer læserne. I rapporten om fravær lyder en række overskrifter fx således: Do re mi fa so lo. Her har man øjensynligt glemt at sætte tekst ind. e. Brugen af benchmark. Bedømmelse: 0,2. Som udgangspunkt anvender man fast benchmark. Dette vises ved hjælp af en halvcirkel med tre farver: Rød, gul og grøn. I de fleste sammenhænge har man seks svarmuligheder, og her er 1-4 rødt, 4-5 gult og 5-6 grønt. I et tilfælde anvendte man syv svarmuligheder, og her var 4-6 gult og 6-7 grønt. I forlængelse af denne brug af faste bechmarks viser man Top 5 og Bund 5 eller Top 10 og Bund 10, hvor man viser de spørgsmål, som henholdsvis giver den højeste og den laveste score. Dette er et alvorligt minus ved disse kortlægninger. Dette opvejes dog delvist ved brug af eget benchmark i de tilfælde, hvor man har gennemført flere kortlægninger af samme arbejdsplads. I en enkelt rapport bruges der eksternt benchmark kaldet EEPB (Enalyzer Emloyee Performance Benchmark). Imidlertid angives ingen detaljer om dette bechmark. Man kan således ikke vide, hvor det kommer fra eller hvor mange svarpersoner, det er baseret på. Ennova. Samlet bedømmelse: 2,1 point (ud af 5 mulige). På Ennovas hjemmeside præsenteres konceptet således: Vi ser måling som en proces, der dækker over meget mere end at stille intelligente spørgsmål. Vores unikke metode tager hånd om jeres udfordringer fra første møde og frem til løsningen lever og skaber værdi i virksomheden. Som det første afdækker vi jeres behov ved at sætte os 100% ind i den virkelighed, I befinder jer i. Ud fra den viden skaber vi et unikt undersøgelsesdesign, som indeholder skræddersyede værktøjer, der matcher målet. Herefter gennemfører vi målingen med fuld fokus på dataindsamling, validering, projektstyring og resultater. Når svarene er i hus, er vi med til at forankre løsningen fra topledelse til menig medarbejder. Gennem hele processen er Ennova jeres betroede samarbejdspartner, og vi leverer ikke bare et facit - vi sætter i stedet to streger under løsning. Ennova er et meget stort og høj profileret firma, som dækker Norden og har nogle af Danmarks største virksomheder som kunder.

14 14 Der er tale om et fast og uhyre godt indarbejdet koncept, som er baseret på en række dimensioner, der antages at være afgørende for arbejdsglæde og loyalitet: Omdømme, overordnet ledelse, nærmeste leder, samarbejde, det daglige arbejde, løn- og ansættelsesforhold samt faglig og personlig udvikling. Betydningen af disse 7 dimensioner for arbejdsglæden afgøres på grundlag af to ting: Dels niveauet for hver af de 7 dimensioner (fast benchmark) og dels korrelationen med arbejdsglæde. Hele konceptet er således baseret på netop de to grundlæggende statistiske fejltagelser, som der advares imod i nærværende bedømmelse. Bedømmelsesgrundlag: Bedømmelsen sker på grundlag af en kortlægning af en række virksomheder, både private og offentlige. Dertil kommer et omfattende materiale om European Employee Index. a. Statistisk kvalitet. Bedømmelse: 0,8. Nogle af dimensionerne måles på en udmærket måde, og den interne pålidelighed ser ud til at være høj. I andre tilfælde kniber det. For eksempel består dimensionen Det daglige arbejde af spørgsmål om arbejdspres, indholdet af arbejdsopgaverne og det fysiske arbejdsmiljø. Altså tre helt forskellige ting. b. Dækkende undersøgelse? Bedømmelse: 0,4. Hvis man tager udgangspunkt i den grundlæggende Ennova model, er der mange ting, man vil savne i en generel kortlægning. Det er fx forhold som krav i arbejdet, anerkendelse, social kapital, familie-arbejde konflikt, stolthed i arbejdet, relationer til kunder/borgere, stress, krænkende adfærd m.v. c. Brug af korrelationer. Bedømmelse: 0,0. Den ukritiske brug af korrelationer, som går igennem hele konceptet er yderst uheldig. Man tolker umiddelbart korrelationer som værende udtryk for effekter, og man lægger op til, at disse bruges som prioriteringsinstrument. Dette er en afgørende fejl ved Ennovas koncept. d. Rapportens kvalitet. Bedømmelse: 0,6. Teknisk set er rapporterne af ret høj kvalitet. De fleste ting er forståelige, men dette gælder ikke for det afgørende instrument, nemlig prioriteringskortet, som de fleste vil have meget svært ved at fortolke. Dette gælder specielt sondringen mellem overordnede og specifikke prioriteringskort (de overordnede går på dimensionerne, mens de specifikke går på de enkelte spørgsmål). e. Brugen af benchmark. Bedømmelse: 0,3. Man anvender undertiden eksternt benchmark, som kaldes EEI (European Employee Index), men der angives ingen detaljer om dette benchmark, så størrelse af den tilgrundliggende stikprøve og graden af repræsentativitet kendes ikke. Der anvendes også internt benchmark, hvor forskellige afdelinger og sektioner i virksomheden sammenlignes på tværs. Det bærende element i rapporterne er imidlertid det faste benchmark, hvor under 50 point kaldes meget lavt, lavt, middel, højt og meget højt. Det centrale i Ennovas budskab er prioriteringskortene, hvor

15 15 den ene af de to grundlæggende dimensioner er point vurderet ved hjælp af fast benchmark. Dette er et andet afgørende minus ved hele Ennova konceptet. Det er bemærkelsesværdigt, at et stort og anerkendt firma i mange år har kunnet fortsætte med at bruge et prioriteringsinstrument, som hviler på to grundlæggende faglige misforståelser, nemlig brugen af fast benchmark til fastlæggelse af hvor godt, man ligger på de forskellige dimensioner, og af korrelationer til påvisning af årsagssammenhænge. Interresearch. Samlet bedømmelse: 2,7 (ud af 5 mulige). Interresearch præsenterer sig selv således: Hos Interresearch får du markedets bedste værktøj til spørgeskemaunderundersøgelser defgo.net - og højt kvalificeret konsulenthjælp inden for HR analyser som: medarbejdertilfredshedsanalyser, social kapital, lederevalueringer, arbejdspladsvurdering og stressmålinger- samt div. Kundetilfredshedsmålinger. Interresearch står blandt andet for udviklingen af et instrument for måling af social kapital, som Arbejdsmiljørådet har bestilt. Interresearch har et stort antal offentlige og private kunder. Det er Interresearch som har stået for driften af Trivselmeter, som er bedømt særskilt i denne rapport. I denne sammenhæng bedømmes Interresearch på grundlag af en omfattende kortlægning af en stor statslig virksomhed. a. Statistisk kvalitet. Bedømmelse: 0,2. En række af de benyttede dimensioner er åbenlyst ikke validerede. For eksempel anvendes en dimension, der kaldes fleksibilitet og mangfoldighed. Under denne overskrift stiller man spørgsmål om åbenhed overfor forskelligheder, om at drage nytte af forskelligheder, respekt om egen person, social støtte fra kolleger og arbejde-familie konflikt. Under gode medarbejdere skal man svare på, om man kender arbejdspladsens strategi, og om der er sammenhæng mellem indsats og anerkendelse. Der er i sandhed tale om blandede bolsjer. Det er endvidere et problem, at en række af spørgsmålene (der er snarere tale om påstande) med djævelens vold og magt er positivt formuleret. Nogle af påstandene lyder derfor: Der er ingen generende støj på min arbejdsplads, Jeg er ikke udsat for fysisk vold eller trusler om fysisk vold på min arbejdsplads, Mit eventuelle sygefravær skyldes ikke forhold på arbejdspladsen og Jeg er sjældent bekymret for, at jeg ikke kan klare arbejdet. Den slags formuleringer ligger milevidt fra de generelle anbefalinger om gode spørgeskemaer. Især det sidste af de nævnte spørgsmål, der indeholder to negationer! b. Dækkende undersøgelse? Bedømmelse: 0,6. Det er ikke så let at finde ud af, om undersøgelsen er dækkende, da spørgsmål om et givet emne er ret usystematisk fordelt. Det ser dog ud til, at emner som fx følelsesmæssige krav, mening i arbejdet, forudsigelighed, social kapital, stress og udbrændthed er dårligt dækket ind. Under alle omstændigheder vil det være vanskeligt for brugerne at vurdere, om man er dækket ind eller ej.

16 16 c. Brug af korrelationer. Bedømmelse: 1,0. I det gennemgåede materiale er der ingen brug af korrelationer af nogen art. d. Rapportens kvalitet. Bedømmelse: 0,3. Rapporten er temmelig vanskelig at gennemskue og få overblik over. Spørgsmålene er talrige og spredt i noget, der ligner tilfældig rækkefølge. Desuden er der flere samtidige benchmarks, og det er derfor vanskeligt at få overblik over resultaterne. Alt er tilsyneladende lige vigtigt, og der angives ingen grænser for væsentligt og uvæsentligt. En nærmest ubearbejdet ansamling af spørgeskemabesvarelser. e. Brugen af benchmark. Bedømmelse: 0,6. Der bruges tre slags benchmark: 1. Med hele organisationen (internt benchmark). 2. Med en tidligere måling (eget benchmark). 3. Fast benchmark (1-2,9: Ringe, 3,0-3,5: Middel, 3,6-5,0: Godt). Samtidigt er der ingen kriterier for, hvor store forskelle skal være for at være væsentlige. Der er tale om en rodet fremstilling, som kræver meget af brugerne for at give nogen mening. Dette vanskeliggøres yderligere af den store og uoverskuelige datamængde. Munintech. Samlet bedømmelse: 4,1 point (ud af 5 mulige). Munintech er et mindre firma, som arbejder med spørgeskemaundersøgelser, herunder APV og trivselsmålinger. Man har i en årrække arbejdet med 3-dækker konceptet, som oprindeligt blev udviklet af Arbejdsmiljøinstituttet (nu NFA). Man har med udgangspunkt i dette koncept blandt andet afholdt kurser og udgivet en manual. I denne sammenhæng tages der udgangspunkt i kortlægninger, hvor 3-dækker skemaerne (det mellemlange eller det korte) har været anvendt. Dette er sket på en lang række offentlige og private arbejdspladser. a. Statistisk kvalitet. Bedømmelse: 0,8. De anvendte dimensioner stammer fra 3-dækker konceptet, hvor alle dimensioner er indgående analyseret og valideret. Dette er dokumenteret gennem tilgængelige rapporter og i internationale artikler. Enkelte dimensioner har dog en relativt lav intern pålidelighed, og der er problemer med måling af dimensionen følelsesmæssige krav, hvor man sammenblander påvirkningen (kravene) og effekten (reaktionerne hos svarpersonen på disse krav). Det er en fordel, at man på NFA s hjemmeside kan finde et modelskema med alle svarfordelinger for en repræsentativ population samt scoren for en lang række faggrupper. b. Dækkende undersøgelse? Bedømmelse: 0,7. Det mellemlange skema dækker stort set alle de områder, der er peget på i den psykosociale forskning. Dog er der nogle mangler, som efterhånden har vist sig i den praktiske anvendelse. Det drejer sig fx om dimension så som stolthed over arbejdet, kvalitet i ydelser og produkter, godt kollegaskab, brobyggende social kapital, videndeling samt relationer til kunder og borgere. På disse områder er der behov for en opjustering af konceptet.

17 17 c. Brug af korrelationer. Bedømmelse: 0,9. Der anvendes ikke korrelationer eller andre statistiske mål for sammenhænge. Der vises oversigter over fordelingen af afdelinger eller enheder på to dimensioner, således at man kan se fordelingen. I den forbindelse indlægges også en regressionslinje, som godt kan fortolkes som en effekt. Dette er imidlertid ikke en central del af konceptet, og der advares mod denne forkerte tolkning. d. Rapportens kvalitet. Bedømmelse: 0,9. Rapporterne er meget overskuelige. Der er først en oversigt over alle dimensionerne i undersøgelsen, og det angives med farverne rød, gul og grøn, hvordan man ligger i forhold til det nationale benchmark. Hermed kan resultatet overskues i et blik. På de følgende sider gennemgås en dimension af gangen. Man får en definition på hver dimension, og man viser hvordan arbejdspladsen/afdelingen ligger i forhold til hele organisationen (max 3 niveauer). Derudover vises svarfordelingerne for hvert af de anvendte spørgsmål (og for det nationale benchmark). Hermed har man de informationer, som de fleste brugere efterspørger. Herudover leverer Munintech oversigter over hele organisationen (matriksen og regresionsmodellen). e. Brugen af benchmark. Bedømmelse: 0,8. Man anvender konsekvent det nationale benchmark, som stammer fra kortlægningen af danskernes psykiske arbejdsmiljø i Dette benchmark er efterhånden forældet, hvilket gør, at man ikke kan få maksimal score på dette punkt. Ud over dette benchmark har man internt benchmark og eget benchmark over tid. Man har således alle de relevante former for benchmark, hvilket er en stor fordel. Derudover anvendes en bagatel-grænse på 5 point, som er forskningsmæssigt valideret. Great Place to Work. Bedømmelse: 3,9 (ud af 5 mulige). Great Place to Work er et koncept, som efterhånden har mange år på bagen. Konceptet har en høj profil, og de fleste har formentlig hørt om Danmarks bedste arbejdspladser, som kåres en gang om året med stor festivitas. Konceptet er internationalt (med amerikansk oprindelse), og der kåres også Europas bedste arbejdspladser inden for en række sektorer. Kernen i disse målinger er 5 dimensioner, der belyses ved hjælp af en række spørgsmål: Troværdighed, respekt, retfærdighed, stolthed og fællesskab. Disse dimensioner måler tilsammen en egenskab, som i de senere år har været meget i fokus, nemlig virksomhedens sociale kapital. Man kan således sige, konceptet (før det blev moderne ) arbejdede målrettet og internationalt med social kapital på arbejdspladsen. Der er en omfattende litteratur i tilknytning til konceptet, fx Burchell & Robin: The great workplace. How to build it, how to keep it, and why it matters fra Bedømmelsen er sket på grundlag af rapporter til en række offentlige og private arbejdspladser samt en omfattende litteratur a. Statistisk kvalitet. Bedømmelse: 0,7. De anvendte dimensioner er statistisk vel validerede. Man ville i dag måske have foretrukket begrebet tillid (i stedet for troværdighed), men skemaet er indgående testet, og der findes en omfattende

18 18 forskningsmæssig litteratur om både redskabet og om de resultater, der er opnået blandt virksomheder med høj social kapital. Det er dog en ulempe, at der er en del hemmeligheds-kræmmeri omkring konceptet. Man skal gå omveje for at finde ud af, hvilke konkrete spørgsmål, der måler de forskellige dimensioner. Man kan også indvende, at man anvender for mange spørgsmål til at vurdere de fem dimensioner. (Nemlig henholdsvis 14, 13, 13, 8 og 10). Endelig er det en ulempe, at man gør resultaterne op ved at lægge de to bedste (ud af 5) svarkategorier sammen. Hermed kaster man information bort. Det er jo ret afgørende, om man svarer Ofte sandt eller Næsten altid sandt. b. Dækkende undersøgelse? Bedømmelse: 0,6. Som udgangspunkt er undersøgelsen ikke dækkende, idet den i det store hele kun omfatter social kapital (samt en vigtig indikator: stolthed). Hertil kan man imidlertid sige, at når man endelig skulle vælge en fokuseret måling, så er valget umådelig velbegrundet. Dertil kommer, at det står virksomhederne frit for at supplere op med spørgsmål om andre emner. c. Brug af korrelationer: 1,0. Man anvender ikke korrelationer. Derimod trækker man på en omfattende litteratur om, hvordan social kapital opbygges (primært gennem høj ledelseskvalitet) og om konsekvenserne af social kapital (primært lavt fravær, lav personaleomsætning og højt økonomisk afkast). d. Rapportens kvalitet. Bedømmelse: 0,8. Rapporterne har en fin kvalitet. Der er ikke så meget at være i tvivl om, idet man går efter princippet: Keep it simple. Man kunne godt tænke sig nogle simple rapporter over hele virksomheden til at danne overblik og indsigt. Disse savnes i det foreliggende materiale. e. Brugen af benchmark. Bedømmelse: 0,8. Man anvender konsekvent tre former for benchmark: Internt benchmark (fx med andre lignende arbejdspladser i samme kommune eller med hele virksomheden), eget benchmark (med tidligere kortlægninger) og benchmark mod de bedste på området. Det sidste er formentligt unikt for dette koncept. Man sammenligner således ikke med gennemsnittet men med de bedste i klassen. Kombineret med de øvrige former for benchmark er dette en ny og ofte stimulerende form for benchmark. Trivselmeter. Samlet bedømmelse: 1,8 (ud af 5 mulige). Trivselmeter er et koncept, som er udviklet til brug for den offentlige sektor i et samarbejde mellem de daværende Personalestyrelse, KL, Danske Regioner og de ansattes organisationer. Formålet med konceptet var et tilbyde offentlige arbejdspladser et instrument, der opfylder de krav, man kan stille til en vel gennemført trivselsmåling. Instrumentet skulle både opfylde intentionerne i de aftaler, der er indgået på det offentlige område og de lovmæssige krav om APV m.v. Konceptet er bedømt ud fra et omfattende materiale, dialog med ophavsmændene samt en lang række konkrete rapporter.

19 19 a. Statistisk kvalitet. Bedømmelse: 0,2. Den statistiske kvalitet er meget lav. De fleste af dimensioner består af blandinger af spørgsmål, der reelt handler om meget forskellige emner. Under Job og organisering har man fx følgende spørgsmål: 1. Ved du klart, hvad der er dine ansvarsområder? 2. Ved du, hvad der forventes af dig i dit arbejde? 3. Er dine arbejdsopgaver meningsfulde? 4. Får du tilbagemeldinger om kvaliteten af det arbejdet, du udfører? 5. Er du tilfreds med kvaliteten af det arbejde, du udfører? 6. Bliver dit arbejde anerkendt og påskønnet af din nærmeste leder? 7. Bliver arbejdsopgaverne fordelt på en retfærdig måde? Disse spørgsmål handler om vidt forskellige dimensioner, hvilket betyder, at den samlede score bliver uden ret meget mening. Et andet eksempel er, at et spørgsmål om hvorvidt man fremkommer med forslag til forbedringer på arbejdspladsen hører under Motivation, mens et beslægtet spørgsmål om, hvorvidt man tager ansvar for at få tingene til at fungere, hører under Engagement. Et par af de øvrige dimensioner har højere kvalitet, men gennemgående er kvaliteten lav. Et specielt problem er, at man øjesynligt har glemt at vende et spørgsmål rigtigt. Det drejer sig om, hvorvidt man tænker på at søge job et andet sted. Her er en høj score i sagens natur negativt, hvilket man ikke har taget højde for i konceptet. Dette skaber naturligvis en hel del forvirring. Også dimensionen vedrørende krav skaber forvirring, idet man dels ikke har kunnet beslutte sig til, om høje krav er negativt eller positivt, og dels har blandet en række vidt forskellige krav sammen, som burde opgøres særskilt. b. Dækkende undersøgelse? Bedømmelse: 0,5. Det er lidt svært at afgøre, om undersøgelsen er dækkende eller ej, idet dimensionerne er så dårligt konstrueret. For eksempel er der faktisk spørgsmål om social kapital, men disse spørgsmål er fordelt på tre forskellige dimensioner, hvilket betyder, at man dækker dimensionen, men uden at brugerne opdager det. I standard skemaet savnes endvidere spørgsmål om forhold til borgere/kunder, arbejde-familie konflikt, stress, udbrændthed, mobning og chikane. Disse områder er stort set dækket ind i et bruttokatalog med supplerende spørgsmål, som man kan vælge at anvende. Dette er der dog, så vidt det kan vurderes, ikke mange der gør. Alt i alt er resultatet langt fra tilfredsstillende. c. Brug af korrelationer: Bedømmelse: 0,6. Brugen af korrelationer indgår ikke umiddelbart i Trivselmeter konceptet. Dog har man i 2010 udgivet en vejledning kaldet Sammenhængsmodellen i Trivselmeter, hvori man anvender en Ennova-figur, som er baseret på kombinationen af fast benchmark og korrelationer. Hermed begår man de to grundlæggende fejl, som er omtalt indgående ovenfor. I stedet for at advare mod brugen af korrelationer, opfordrer man således brugerne til at anvende dem i prioritering af indsatsen. d. Rapportens kvalitet: 0,3.

20 20 De rapporter, der baseres på Trivselmeter, har meget forskellig kvalitet, idet man lokalt har udformet rapporterne meget forskelligt. Ofte er rapporterne svære eller umulige at overskue på grund af en meget detaljeret rapportering af svarfordelinger på forskellige spørgsmål. I andre sammenhænge henvises der til et eksternt benchmark, som man kalder Gallup 2009, men dette benchmark forklares ikke. Undertiden gør man en del af at opdele dimensionerne i Insatsområder og Resultatområder, men heller ikke denne tankegang følges op. Der savnes helt enkelt et gennemtænkt og gennemskueligt koncept for rapporterne, som understøtter de centrale budskaber. e. Brugen af benchmark: 0,2. I Trivselmeter anvendes en del spørgsmål, som også anvendes i forskellige nationale undersøgelser. Dette skulle give gode muligheder for at anvende nationalt benchmark, men man har desværre valgt at bruge 7 svarkategorier i stedet for 5. Hermed har man uden nogen særlig begrundelse ødelagt mulighederne for benchmark med undersøgelse som NAK (den nationale arbejdsmiljøkohorte) og 3-dækker undersøgelsen om psykisk arbejdsmiljø. Efter det oplyste er det firmaet Interresearch, som har fået gennemtrumfet, at der bliver anvendt 7 svarkategorier, idet dette er firmaets normale koncept.