Notat om værdisætning ved opsummeringer

Transkript

1 Bilag 9 Notat om værdisætning ved opsummeringer ved Ekspertgruppens sekretariat September 2008 Bilag til Ekspertgruppens anbefalinger til videreudvikling af Sundhedskvalitet

2 N O T A T Oplæg om værdisætning ved opsummeringer j.nr /1/ths Baggrund Med henblik på at øge overskueligheden af de mange nøgletal på Sundhedskvalitet.dk (SK), indeholder SK for en række opsummeringer, kaldet karakterer. Karaktererne er beregnede opsummeringer af sygehusenes indbyrdes rangstilling på en række relaterede nøgletal i et samlet udtryk. Eksempelvis indgår behandlingsspecifikke nøgletal i en korresponderende behandlingskarakter for en given behandling/sygdom og en række generelle nøgletal om patientoplevelser og serviceforhold indgår i en såkaldt sygehuskarakter. SK indeholder aktuelt 12 forskellige behandlingskarakterer og 1 sygehuskarakter. Monitorering og Medicinsk Teknologivurdering Islands Brygge København S Tlf Fax E-post info@sst.dk Til fastlæggelse af sygehusenes indbyrdes rangstilling på de enkelte nøgletal, benyttes aktuelt en dynamisk værdisætning landsresultatet. Som følge heraf ændres værdisætningen i takt med at landsresultatet ændrer sig. Nærstående notat beskriver den nuværende brug af værdisætning ved beregning af karakterer på SK, og gennemgår en række alternative muligheder for værdisætning. Notatet har til formål at fungere som oplæg til Ekspertgruppens drøftelser. Nuværende værdisætning på SK Ved beregningen af karaktererne på SK foretages først en indbyrdes rangstilling af sygehusene på de enkelte nøgletal. Aktuelt benyttes landsresultatet for nøgletallet som værdisætning eller referencepunkt ved rangstilling. Opsummeringerne sker gennem en række trin. I første trin benyttes: Såfremt den numeriske værdi af et nøgletal er statistisk signifikant bedre end landsresultatet, tildeles 3 point

3 Såfremt den numeriske værdi af et nøgletal er statistisk dårligere end landsresultatet, tildeles 1 point Side 2 Såfremt den numeriske værdi af et nøgletal ikke med statistisk sikkerhed kan adskilles fra landsresultatet, tildeles 2 point I andet trin summeres de beregnede point for alle de nøgletal, som indgår i karakterberegningen. Dette gøres separat for hvert sygehus. I tredje trin omsættes summen af point til en numerisk værdi på en 5 trinsskala. Dette gøres ved at tage det gennemsnitlige antal point for det enkelte sygehus og multiplicerede med 2 og fratrække produktet værdien 1. Resultatet afrundes til et heltal. I fjerde trin konverteres det resulterende heltal til et antal stjerner svarende til heltalet. Således bliver den numeriske værdi 3 til tre stjerner. Fem stjerner er bedst og 1 stjerne dårligst. Stjernerne udtrykker, hvorvidt det pågældende sygehus, for den behandling/forhold som karakteren omhandler, overvejende er bedre eller dårligere end landsresultatet for relatere nøgletal. Karaktererne er således en simpel og enkel sammenstilling af komplekse nøgletal. Fordele og ulemper ved forskellige værdisætningsmetoder Siden lanceringen af SK i oktober 2006, har der været en del kommentarer og kritik af den nuværende benyttede værdisætningsmetode. Nuværende metode dynamisk værdisætning Den nuværende SK værdisætning ved opsummeringer af nøgletalsrangstillinger til karakterer benytter en aktuelle landsresultat til værdisætning. Værdisætningen er således dynamisk. Fordele ved dynamisk værdisætning a) Konkurrenceaspektet ved SK forstærkes, idet sygehusene presses til at optimere over en bred kam, for ikke at risikere at sakke agterud. b) Værdisætningen er objektiv (dataafhængig) og der foretages intet subjektivt skøn over, hvilket niveau der er god eller dårlig kvalitet. c) Rangstillingen er til enhver tid aktuel, således at toppen alene udgøres af de generelt bedst præsterende sygehuse og omvendt med bunden. d) Den allerede benyttede rangstillingsmetode fra de enkelte nøgletal(hgl) benyttes med deraf begrænset øgning i kompleksiteten. e) Beregning af spredning følger almindelig sundhedsfaglig konvention ved sammenligninger (95 % konfidensinterval). Ulemper ved dynamisk værdisætning a) Ved brug af aktuelt landsresultat foreligger der altid en usikkerhed om, hvor meget et sygehus skal forbedre sig for at fremstå på

4 samme niveau eller på bedre niveau end ved forrige måling. Dette kan have betydning for sygehusledelsernes prioritering af forbedringsindsats og vurdering af hvilken indsats, der er tilstrækkelig til at opnå det ønskede rangstillingsresultat. b) Fordelingen af stjerner at angiver intet om, hvorvidt det samlede kvalitetsniveau udvikler sig positivt eller ej. Side 3 Alternativ metode fast værdisætning I stedet for dynamisk værdisætning kan der benyttes fast værdisætning ved opsummeringer. I så fald fastlægges en ønsket grænseværdi og det enkelte sygehus måling sammenholdes med denne ønskede grænseværdi. Den faste grænseværdi får således karakter af en fast tærskel. Brugen af faste grænseværdier ved sammenligninger og rangstillinger har i dansk sammenhæng primært været benyttet i det Nationale Indikator Projekt (NIP). Fordele ved fast værdisætning a) Prioritering af forbedringsindsatsen på sygehusene bliver nemmere og resultatet af investeringerne mere forudsigelige. Det bliver muligt, alene ud fra lokale målinger, at afklare om en forbedringsindsats har udsigt til at nå det ønskede mål. b) De beregnede karakterer viser om kvaliteten er god nok. c) Udviklingen over tid i fordelingen af stjerner angiver om kvalitetsniveauet generelt er stigende eller faldende, såfremt værdisætningerne holdes konstante over samme tidsperiode. Ulemper ved fast værdisætning a) En ikke-databaseret tærskelværdi baseres på et mere eller mindre subjektiv skøn. Erfaringerne fra NIP viser, at der ofte savnes god evidens for at givent niveau - lavere end absolut top - er lig god kvalitet. Fastlæggelse af faste tærskelværdier sker oftest i en konsensusproces. b) Troværdigheden er afhængig af hvor lavt eller højt den faste værdisætning sættes. c) Sættes den faste værdisætning meget lavt eller højt vil der være en tendens til at spredningen ved rangstilling bliver minimal (eksempelvis vil stort set alle sygehuse få maksimale antal point ved meget lavt sat værdisætning). d) Opsummeringer med brug af faste værdisætninger giver ikke nødvendigvis mulighed for at identificere de bedste, men alene dem som enten er gode nok eller ikke gode nok. e) Bortset fra NIP data, er fast værdisætning kun benyttet i begrænset omfang. Brug af fast værdisætning vil således kræve en betydelig udviklingsindsats, før en sådan metode kan tages i generel anvendelse. Alternativ metode semi-fast værdisætning I stedet for dynamisk værdisætning kan der benyttes en såkaldt semifast værdisætning ved opsummeringer. Eksempelvis kan en værdi fra en tidligere periode så som sidste års landsresultat benyttes til værdisætning.

5 Fordele ved semi-fast værdisætning Side 4 a) Prioritering af forbedringsindsatsen på sygehusene bliver nemmere og resultatet af investeringerne bliver mere forudsigelige. Det er nemmere, alene ud fra lokale målinger, at afklare om en forbedringsindsats har udsigt til at nå det ønskede mål. b) Konkurrenceaspektet fastholdes delvist om end ikke så markant som ved dynamisk værdisætning. c) Brugen af subjekt skøn er begrænset til et principielt skøn om, at det altid er ønskværdigt, at sygehusene præsterer bedre end i forrige periode. Ulemper ved semi-fast værdisætning a) Fordelingen af stjerner viser kun delvist og kun i forhold til det forrige år om det samlede kvalitetsniveau er i bedring. Brug af landsresultat ved dynamisk/semi-fast værdisætning Aktuelt benyttes landsresultat til værdisætning ved opsummeringer. I stedet for landsresultat kan eksempelvis benyttes: Bedste præstation aktuelle eller sidste års. 75 % percentil niveau aktuelle eller sidste års Begge metoder vil øge kompleksiteten i differentieringen, idet midtpunktet forskydes opad, så der næppe kan forventes stor spredning alene ved brug af de konventionelle ± 2 SD (95 % konfidensintervalsniveau). Kombineret dynamisk og fast værdisætning Ved beregningen af den nuværende Sygehuskarakter, opsummeres rangstillingen på 13 forskellige generelle sygehusnøgletal. Af disse 11 nøgletal sker rangstilling ud fra aktuelle landsresultat som værdisætning. For nøgletallene Køkkenforhold og Hygiejneindsats er værdisætningen fast idet disse nøgletal opgøres på en ordinal skala (henholdsvis 4 trins- og 3 trins-skala), hvor en given fast nøgletalsværdi korrespondere til et fast anatl opsummerings-point. Oplæg til drøftelse Sekretariatet foreslår, at Ekspertgruppen drøfter om den nuværende værdisætningsmetode skal opretholdes eller revideres. Det kan generelt ikke anbefales, at forskellige værdisætningsprincipper benyttes samtidigt, idet den samlede kompleksitet vil stige og gennemskuelighed forringes tilsvarende.