Målbar og/eller Meningsfuld: Et umage par?

Transkript

1 Målbar og/eller Meningsfuld: Et umage par? Erik Hollnagel Professor, SDU/IRS Chefkonsulent, Center for Kvalitet, RSD

2 Hvad er en indikator? Substantiv: [endiˈkæːtʌ] Fra Latin indicator, af indicare angive, bekendtgøre INDIKATOR: middel som bruges til at vise hvordan noget forholder sig; instrument der måler og viser hvordan noget forholder sig. INDIKATION: tegn eller oplysning der tyder på noget bestemt En indikator repræsenterer noget, som i sig selv kan være vanskelig at beskrive præcist, men som er væsentligt for at styre/lede en proces eller et system. Opfattes direkte: Aktivitet, støj, lugt, tale, bevægelse, osv. En indikator kan også repræsentere et overordnet eller abstrakt egenskab, som f.eks. sikkerhed eller kvalitet Målinger: Varighed, interaktion, brug af ressourcer, osv. Indikatorer:: Produktivitet, arbejdspres, kvalitet, sikkerhed, osv.

3 Målbar og/eller meningsfuld Målelig, målbar: som det er muligt at måle eller registrere; som kan gøres til genstand for konkrete beregninger eller analyser. INDIKATOR Meningsfuld: som giver mening, ofte i en større sammenhæng; som opfattes som vigtig og værdifuld Mening: tanke-, begrebs- eller betydningsmæssigt indhold af et ord, en ytring, en handling el.lign.

4 Målbar og/eller meningsfuld Trusselsniveauet er (måske) meningsfuldt... HSMR er målbart, men er det meningsfuldt? men er det målbart?

5 Hvad betyder en måling (et tal)? Målinger og tal kan, set i isolation, betyde hvad som helst

6 Hvad betyder en måling (et tal)? Målinger og tal kan, set i isolation, betyde hvad som helst. Når der er mere information og/eller en sammenhæng kilo kilo centimeter centimeter

7 Hvad betyder en måling (et tal)? Målinger og tal kan, set i isolation, betyde hvad som helst Når der er mere information og/eller en sammenhæng kilo kilo centimeter centimeter bliver målinger og tal mere meningsfulde... Hr. Hr. Hansen Hansen vejer vejer kilo kilo Hr. Hr. Hansen Hansen er er centimeter centimeter høj høj

8 Hvad betyder en måling (et tal)? Målinger og tal kan, set i isolation, betyde hvad som helst Når der er mere information og/eller en sammenhæng kilo 179 centimeter bliver målinger og tal mere meningsfulde... Hr. Hansen vejer 49 kilo Hr. Hansen er 179 centimeter høj og kan tilsammen gøre en situation forståelig. Hr. Hr. Hansen Hansen har har det det ikke ikke godt godt

9 Vægt: Målbar og meningsfuld Vægt BMI Målsætning Veldefineret, operationel Veldefineret, operationel Måling (indikator) Enkel, direkte Enkel, beregnet Instrument Enkelt, pålideligt Enkelt, pålideligt Meningsfuld Ja, i forhold til egen standard Ja, i forhold til norm Kendte (gå ned i vægt) Kendte (gå ned i vægt, vokse) Midler til forandring

10 Sikkerhed: Meningsfuld men målbar? Sikkerhed Kvalitet Målsætning Uklar definition, uklart begreb? Måling (indikator) Komplekst, indirekte, trægt? Instrument Mange forskellige, ikke kalibrerede Meningsfuld Kompleks, subjektiv Midler til Traditionelle, men forandring med uklar effekt???

11 Hvad bruger man indikatorer til? Til at styre et forløb eller en udvikling (at holde sig indenfor grænserne eller at nå et mål). Til at måle og/eller sammenligne (effekt, præstation) - evt. som basis for straf / belønning. Til at kommunikere, beskrive og forklare med mere...

12 At styre et skib... MÅL: Hvor skal jeg være (ønsket position) og hvornår? STATUS: Hvor er jeg (nuværende position)? Hvordan går det? MIDLER: Hvordan kan jeg nå frem (midler)? Hvad skal jeg passe på undervejs?

13 Da Royal Majesty gik på grund (Nantucket, 1995) Grundstødning 22:25 (EST) 10 juni, Rose and Crown Shoal, klart vejr, god sigt. Positionen var ca 17 NM vest for hvad styrmand antog. Ingen personskader, men økonomisk tab på ca. 7 millioner USD. Ca 52 minutter efter afsejling fra Bermuda (9 juni) bortfaldt GPS signalet (nogen trådte på kablet). Navigationssystemet skiftede til bestikregning, uden at det blev opdaget. Autopiloten styrede uden korrektion for vind, strøm og bølger, og den viste position svarede derfor ikke til den faktiske position. GPS antennen var nogle måneder før blevet flyttet, og kablet var derfor sårbart.

14 Da Royal Majesty gik på grund Ekkoloddets alarmgrænse var ikke omstillet fra havn (0 meter) til sejlads (3 meter). Styrmanden stolede på GPS visningen og overvejede, ikke at den kunne være forkert. Han markerede ruten på søkortet ud fra GPS målinger, uden at sammenligne med LORAN. Styrmanden mente at have set en bøje på radaren, men kunne ikke verificere den visuelt da der på grund af solnedgang var reflekser fra havet. Andenstyrmand rapporterede senere at have set en anden bøje, som skulle have været der, men som ikke var der (fordi skibets position var forkert). Kaptajnen gik ud fra at skibet var på kurs fordi han ikke fik andet at vide. Udkiggen meldte at have set røde lys, samt blåt og hvidt (grundt) vand, men styrmanden reagerede ikke. Royal Majesty blev kontaktet på radio af nogle Portugisiske fiskerbåde, som advarede om, at skibet var på forkert kurs. De blev anmodet om at skifte kanal, og ikke forstyrre de normale transmissioner.

15 Træge, samtidige og ledende indikatorer Samtidige Træge indikatorer viser, hvad der er sket Ledende indikatorer: indikatorer: (produkt); enkle og/eller sammensatte; bruges til at forudsige, hvad der ofte med betydelig forsinkelse. hvad der vil eller kan ske. sker lige nu. Dashboard Sundhedsvisionen Ulykker, UTH, GTT, statistikker FØR (fortid) NU (nutid) OM LIDT (fremtid)

16 Reaktiv styring Styringen af en process kan ikke baseres udelukkende på viden om, hvad der er sket. Sikkerhedsstyring der kun baseres på hvad der er sket, vil være langsom, ineffektiv, og ude af trit med udviklingen.

17 Målsætninger og indikatorer Hvad er det mål, der skal nås? Reducere risici / ulykker / UTH (at undgå noget, at fjerne sig fra noget) At tænke på Gøre det bedre end sidste periode Hvad er kriteriet for uacceptabel sikkerhed / kvalitet? Er motivationen intern eller ekstern? Være blandt de bedste indenfor feltet Regionalt / nationalt / internationalt Være forberedt på alt også det uventede Opfylde myndighedernes krav Krav fra samfund / politikere / offentlighed / patienter Forøge sikkerhed / kvalitet (at opnå noget, at nærme sig noget) Hvad er kriteriet for acceptabel sikkerhed / kvalitet? Lovgivning Hvordan kan man finde eller udvikle brugbare indikatorer? Kan man anvende de samme indikatorer overalt, til alle formål?

18 Produkt (det som er eller går godt) Indsats Produkt (det som er eller går galt) Resultat Process (sikkerhed / kvalitet) Resultat At måle produkter eller processer Indsats Direkte indikatorer eller målinger Indirekte indikatorer eller målinger Forløb, tilstande, variabilitet. Ulykker, uønskede konsekvenser (HSMR, GTT, UTH)

19 Målbar og/eller meningsfuld Meningsfuld (f.eks. sikkerhed / kvalitet) Meningsfuld, men Både meningsfuld ikke målbar og målbar Hverken praktisk målbar eller meningsfuld Målbar, men ikke meningsfuld Målbar (praktisk mulig)

20 Målbar og/eller meningsfuld Meningsfuld (f.eks. sikkerhed / kvalitet) Relevant, men upraktisk Irrelevant Meningsfuld, men Både meningsfuld ikke målbar og målbar Hverken praktisk målbar eller meningsfuld Målbar, men ikke meningsfuld Ideel, men sjælden Typisk (f.eks. HSMR, UTH) Målbar (praktisk mulig)

21 Virkelighedens (proxy) indikatorer Sikkerhed (som egenskab) defineres som det, der måles med indikatorerne. Målelighed betyder mere end meningsfuldhed. Σ indikator indikator Proxy indikator: En indirekte angivelse af et fænomen, når en direkte angivelse ikke er mulig. i Egenskab (sikkerhed) i Egenskab (sikkerhed) Indikatorer vælges på basis af en tydelige forståelse af systemet eller egenskaben. Meningsfuldhed betyder mere end målelighed.

22 Den ideelle indikator Kriterium Definition Meningsfuld Indikatoren karakteriserer, hvad der sker i en bestemt situation / sammenhæng. Kan bruges som udgangspunkt for korrektioner og forandringer. Sensitiv Indikatoren (målingen) ændrer sig ved forandringer i tilstanden uden væsentlig forsinkelse. Pålidelig Indikatorens angivelser fortolkes på samme måde af forskellige personer (i sammenlignelige situationer). Verificerbar Det er mulig at bekræfte, at indikatoren viser det, den skal. Målbar (kvantitativ) Den faktiske værdi/tilstand kan angives nøjagtigt, enten kvalitativt eller kvantitativt Operationel Konkrete handlinger eller indgreb kan besluttes med støtte i indikatoren. Økonomisk acceptabel Omkostningerne ved brug af indikatoren er acceptable/forsvarlige. Kompatibel Passer med eksisterende systemer, apparatur, rutiner og arbejdsgange.

23 Sammenfatning Not everything that can be counted counts, and not everything that counts can be counted. Det er ikke alt, der kan måles, som er værd at måle, og det ikke alt der er værd at måle, som kan måles. Det er afgørende, at indikatorer / målinger er meningsfulde. Målelighed alene har ikke nogen værdi. Besværet med at finde meningsfulde indikatorer på kort sigt opvejes af nytten på langt sigt. Where is the wisdom we have lost in knowledge? Where is the knowledge we have lost in information? Hvor er visdom, vi har mistet i viden? Hvor er den viden, vi har mistet i oplysninger? Hvor er de oplysninger, vi har mistet i målinger? T. S. Eliot (1934)