Evaluering af akkreditering. 1. blok

Transkript

1 Evaluering af akkreditering 1. blok Oktober 17

2 Indhold 1. Introduktion Fremgangsmåde Konklusion Udbytte de første fem specialer Inddragelse af personalet Oplevet udbytte og anvendte ressourcer Oplevelsen af relevans og udtrykt modstand Oplevelsen af implementeringsprocessen Opstartsmøder Savnet information Møder i netværk og faglige organisationer Oplevelsen af værktøjer og rådgivning Akkrediteringssitet ekvis hjemmeside og øvrig rådgivning Overordnet om oplevelsen af survey Generelle betragtninger Afrunding Bilag 1: Anvendte metoder

3 1. Introduktion Foreningen af Praktiserende Speciallæger (FAPS) og Regionernes Lønnings- og Takstnævn (RLTN) besluttede ved forhandling af speciallægeoverenskomsten i 14 at implementere Den Danske Kvalitetsmodel akkreditering i speciallægepraksis. Formålet er at understøtte den organisatoriske, den kliniske og den patientoplevede kvalitet. Akkrediteringen bygger på metoder til egenkontrol og refleksion over egen praksis, og tager udgangspunkt i 16 akkrediteringsstandarder, der fastlægger krav i forhold til kvalitet og patientsikkerhed. Standardsættet er udarbejdet med deltagelse af praktiserende speciallæger med henblik på at sikre relevans og anvendelighed så tæt på daglig praksis som muligt. Så vidt muligt er de generiske målepunkter fra Sundhedsstyrelsens tilsyn med private behandlingssteder indarbejdet, og en stor del af akkrediteringsstandarderne vedrører endvidere gældende lovgivning. Som en del af akkrediteringen gennemføres et eksternt survey, hvor klinikken vurderes på opfyldelse af de indikatorer, der er relevante i den pågældende klinik. På baggrund af det eksterne survey tildeles akkrediteringsstatus til den enkelte klinik for en 3-årig periode. Samtlige speciallægepraksis er i løbet af 15 introduceret til arbejdet med akkreditering, og implementeringen sker specialevist med fastlagte surveyperioder i hvert speciale. Det er forventningen, at samtlige klinikker er akkrediteret ved udgangen af 18. Resultaterne i denne rapport bygger på 183 praktiserende speciallægers evaluering af implementeringen af akkreditering. Antallet udgør 71,8% af de speciallæger, der har haft survey i perioden 1. oktober 15 til 31. december 16 og repræsenterer fem specialer: Oto-rhino-laryngologi, Reumatologi, Anæstesiologi, Kirurgi og Pædiatri. 2. Fremgangsmåde Spørgeskemaet er som udgangspunkt udsendt til de praktiserende speciallæger en uge efter, deres endelige akkrediteringsstatus er blevet nævnsbehandlet. Spørgeskemaet er udsendt til speciallægerne pr. . Der er som udgangspunkt anvendt den adresse, som er blevet anvendt i forbindelse med dialogen angående opstartsmødet. Respondenterne har herefter haft 2 uger til at besvare spørgeskemaet 1. En uge inden deadline har respondenterne modtaget en påmindelse, hvis de endnu ikke havde besvaret spørgeskemaet. Når respondenterne har besvaret spørgeskemaet er opstillet deskriptiv statistik for de indsamlede svar. Undervejs er det blevet undersøgt, om der eksisterer sammenhænge mellem besvarelser på forskellige spørgsmål. Statistiske tests for signifikante forskelle er udført ved variansanalyser (Oneway ANOVA) og two-sample t-test mellem grupper. For en uddybning heraf henvises til bilag 1. De kvalitative kommentarer er kategoriseret tematisk for hvert speciale. Kommentarerne er yderligere tematiseret og grupperet til brug for analyser i denne rapport. 1 I tilfælde, hvor perioden har overlappet typiske ferieperioder, har respondenterne dog haft længere tid til at besvare spørgeskemaet. 2

4 3. Konklusion På de to næste sider er en samlet grafisk opsummering af alle svar i evalueringen rangeret, så de mest positivt vurderede fremgår først. Helt overordnet er det, der vurderes mest positivt selve surveyet og det, der ligger umiddelbart i tilknytning hertil; f.eks. surveyrapport, tilbagemelding fra surveyorne og overensstemmelse mellem oplevelsen af survey og klinikkernes forventninger hertil. I den modsatte ende af skalaen ligger oplevelsen af udbytte. Helt i bunden ligger oplevelsen af udbytte i forhold til mulighed for øget patientindtag i klinikken, mulighed for at effektivisere arbejdsgange og øget fokus på samarbejde. Disse tre udbytteparametre ligger udenfor det egentlige formål med akkrediteringen, og de scorer da også markant lavere end alle øvrige spørgsmål. De fem øvrige udbytteparametre; systematik, læring, kvalitetsudvikling, patientsikkerhed og konkrete udviklingstiltag scorer i den laveste tredjedel. Selvom 4 ud 1 finder akkrediteringsstandarderne relevante i høj eller i meget høj grad, så oplever speciallægerne altså ikke, at arbejdet har flyttet ret meget. Nogle af dem giver selv et svar klinikkerne gjorde det godt i forvejen, blandt andet fordi der har været systematiske tilsyn fra Sundhedsstyrelsen. Derfor har forbedringspotentialet været lille. En anden åbenlys forklaring på et beskedent udbytte er oplevelsen af et meget stort tidsforbrug i arbejdet. Den anvendte tid står simpelt hen ikke mål med de opnåede resultater set med speciallægeøjne. Men oplevelsen af et beskedent udbytte kan på baggrund af evalueringen nuanceres, for selv om konkrete forbedringstiltag scorer lavt i rangeringen, så har mere end halvdelen af alle klinikkerne i nogen grad, i høj grad eller i meget høj grad iværksat konkrete forbedringstiltag og øget deres fokus på patientsikkerhed og skabt læring i klinikken. 2 ud af 3 klinikker har øget systematikken i opgavevaretagelsen og har øget fokus på kvalitetsudvikling på baggrund af arbejdet. Det er positivt set i lyset af intentionerne med akkrediteringen. Der er i arbejdet introduceret en række metoder til netop at arbejde mere systematisk med egenkontrol og refleksion i forhold til vurderingen af egen praksis, og det medfører altså tilsyneladende positive resultater trods et udgangspunkt i at forbedringspotentialet ikke opleves som særligt stort. Evalueringen er overvejende positiv i forhold til de introducerede metoder og værktøjer samt rådgivningen fra ekvis og den faglige sparring med kolleger. Der er kommet mange kommentarer, både positive og negative, som er analyseret her i rapporten. De vil indgå i ekvis opgave med vejledning i forhold til sidste specialer igennem første akkrediteringsrunde og i det videre arbejde med at justere og udvikle akkrediteringsstandarderne til den kommende anden runde. 3

5 Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Ved ikke Gnst.: (1 5) 8.2. I hvilken grad vurderer du, at rapporten fra akkrediteringsnævnet afspejler tilbagemeldingen fra surveybesøget? 4% 25% 67% 4, Den mundtlige tilbagemelding fra surveyorne ved besøget svarende til surveyrapporten fra IKAS 5% 39% 51% 4, Var det tydeligt for dig, hvad du skulle følge op på inden tildeling af endelig akkrediteringsstatus? 5% 8% 16% 68% 4, Hvordan oplevede du helt overordnet det eksterne survey? 5% 16% 33% 46% 4, Surveyet levede op til mine forventninger 5% 19% 48% 24% 3, De anvendte metoder var velegnede ved survey (interviews, gennemgang af journaler mv.) 4% 21% 48% 21% 3, Tiden, der var afsat til surveyet, var passende 8% 8% 18% 44% 21% 3, I hvilken grad vurderer du at akkrediteringssitet har understøttet dit arbejde med akkreditering? 1% 29% 43% 16% 3, I hvilken grad fandt du den skriftlige vejledning til akkrediteringssitet anvendelig? 5% 36% 47% 11% 3, Tidspunktet på dagen, hvor surveyet blev afviklet, var passende 1% 1% 17% 4% % 3, Informationen om survey har været anvendelig 11% 34% 35% 15% 3, I hvilken grad har du hentet inspiration i kollegers materiale i arbejdet med akkreditering? 7% 13% 28% 39% 14% 3, a. Vurdering af ekvis' telefonrådgivning som værende anvendelig 8% 19% % 37% 16% 3, I hvilken grad har du benyttet i klinikkens arbejde med akkreditering? 9% 17% 25% 27% 22% 3,35 % % 4% 6% 8% 1% 4

6 Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Ved ikke Gnst.: (1 5) 1.1. Akkrediteringssstandarderne er relevante for arbejdet med kvalitet og patientsikkerhed 7% 14% 38% 31% 1% 3, I hvilken grad har du stillet dit eget materiale til rådighed for kolleger i arbejdet med akkrediering? 13% 17% 23% 26% % 3, I hvilken grad har du hentet inspiration på akkrediteringssitet til dit arbejde? 6% 14% 42% 27% 1% 3, b. Vurdering af ekvis' rådgivning pr. som værende anvendelig 1% % 31% 27% 12% 3, I hvilken grad har møder i et fagkollegialt netværk bidraget til arbejdet med akkreditering? 12% 21% 31% 25% 12% 3, Det har været lærerigt at få andre øjne på kvalitetsudvikling i klinikken 15% 16% 31% 22% 14% 3,4 5.1 d. Vurdering af ekvis' deltagelse i organisationsmøder som værende anvendelig 6% 27% 37% 22% 7% 2, Arbejdet med akkreditering har øget fokus på kvalitetsudvikling i klinikken 15% 22% 31% 25% 6% 2, Hvordan vurderer du, at opstartsmødet har givet klinikken den nødvendige viden om akkreditering for at kunne igangsætte arbejdet? 1% 29% 33% 23% 4% 2, Arbejdet med akkreditering har øget systematikken i opgavevaretagelsen 16% % 37% 17% 9% 2, I hvilken grad har møder i din speciallægeorganisation bidraget til arbejdet med akkreditering? 16% 25% 29% 22% 7% 2, c. Vurdering af ekvis' deltagelse i netværksmøder som værende anvendelig 15% 27% 32% % 5% 2, Arbejdet med akkreditering har øget fokus på patientsikkerhed 21% 23% 3% 19% 6% 2, Arbejdet med akkreditering har skabt læring i klinikken 17% 25% 38% 13% 5% 2, Arbejdet med akkreditering har ført til konkrete forbedrings- eller udviklingstiltag 17% 27% 35% 16% 4% 2, Arbejdet med akkreditering har øget fokus på samarbejde i klinikken 33% 26% 23% 11% 3% 2, Arbejdet med akkreditering har givet mulighed for at effektivisere arbejdsgange i klinikken 44% 22% 23% 6% 3% 2, Arbejdet med akkreditering har givet mulighed for at øge patientindtaget i klinikken 83% 8% 5% 1,25 % % 4% 6% 8% 1% 5

7 4. Udbytte de første fem specialer Helt overordnet har arbejdet med akkreditering ført til, at ca. 2 ud af 3 klinikker i nogen, i høj eller i meget høj grad har oplevet øget systematik. Omtrent lige så mange har i nogen, i høj eller i meget høj grad oplevet at arbejdet med akkreditering har øget fokus på kvalitetsudvikling og lidt mere end hver anden klinik har i nogen, i høj eller i meget høj grad fået øget fokus på patientsikkerheden. Evalueringen viser også, at arbejdet i lidt mere end hver anden klinik i nogen, i høj eller i meget høj grad har ført til konkrete forbedringer. Figur 1: Hvordan vurderer klinikken udbyttet mht. systematik, læring, kvalitetsudvikling, patientsikkerhed samt konkrete forbedringstiltag (spg. 1.2, 1.3, 1.4, 1.5 og 1.7) Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Ved ikke Systematik 1.3 Læring 1.4 Kvalitetsudvikling 1.5 Patientsikkerhed 1.7 Konkrete forbedringstiltag Som konkrete forbedringer nævnes f.eks.: indførelsen af årshjul anvendelse af journalaudit bedre arbejdsgange til kontrol med parakliniske prøver mere opmærksomhed på udløbsdato for medikamenter øget fokus på patientsikkerhed. Dette resultat ligger godt i tråd med intentionerne i akkrediteringen, der netop skal fremme patientsikkerhed og især den organisatoriske kvalitet i klinikkerne. 6

8 Det oplevede udbytte kan ses i lyset af, at der i udgangspunktet har været rigtig godt styr på kvalitet og patientsikkerhed i speciallægepraksis. Flere 2 af speciallægerne anfører således direkte i kommentarerne, at de har haft godt styr på klinikken inden akkrediteringen. Alle klinikker har siden 13 været underlagt obligatorisk tilsyn fra Sundhedsstyrelsen, og derfor kan de konkrete ændringer i forbindelse med akkrediteringen måske opleves som marginale eller beskedne, fordi forbedringspotentialet ikke har været så stort. Akkrediteringsstandarderne bygger i vid udstrækning på elementer fra tilsynets målepunkter, og klinikkerne har derfor i høj grad kunnet genbruge eller opdatere dokumenter og procedurer herfra. Det har også betydet, at nogle kommentarer omhandler, at der er sket overlap. Dette intenderede sammenfald har måske for nogle klinikker understøttet fornemmelsen af tidsspild, hvilket også fremgår af de kvalitative kommentarer. Mere end 55 pct. har kommenteret på tidsforbruget som en udfordring. Tidsforbrug uddybes nærmere andetsteds i rapporten. 85 pct. af speciallægerne har i evalueringen svaret på, hvad de vil tage med videre i det fremadrettede arbejde med kvalitetsudvikling og patientsikkerhed. Indtrykket er, at især årshjul/plan for kvalitetsovervågning og systematisk journalaudit implementeres. Herudover fremhæves personalemøder, fokus på faglig udvikling og jævnlig opdatering af udarbejdede instrukser og arbejdsgange ikke nødvendigvis som noget nyt, for i kommentarerne er der også stort fokus på at fortsætte de hidtidige gode rutiner. 5. Inddragelse af personalet Evalueringen viser jf. figur 2 nedenfor, at klinikpersonalet i næsten 4 ud af 5 klinikker har været involveret i arbejdet med akkreditering, og der peges fra enkelte speciallæger på, at arbejdet har givet personalet mere selvtillid, og at personalet har fået større indsigt i krav til arbejdet i en speciallægeklinik. Figur 2: Hvem har været involveret i arbejdet med akkreditering i klinikken (spg. 2.1.) 1, , ,4 1,6 3,3 Klinikejeren Andre læger Klinikpersonalet Ekstern konsulent Andre Det har været muligt at angive flere svar ud af de 38 kliniker, der havde kommentarer til spørgsmålet om udbytte. 7

9 Der har ikke i evalueringen været spurgt specifikt til personalets oplevelser med arbejdet og resultaterne af akkreditering. 6. Oplevet udbytte og anvendte ressourcer Speciallægernes oplevelse af udbyttet skal ses i sammenhæng med de ressourcer, der er brugt på arbejdet. Ifølge figur 3 nedenfor har 1 ud af 4 speciallæger brugt op til 5 timer og ca. 2 ud af 3 speciallæger har brugt mellem 5 og timer på arbejdet med akkreditering. Personalet har i 2 ud af 3 klinikker brugt op til 5 timer. Figur 3: Tidsforbrug for læger og ikke-læger i klinikken (spg. 2.3a og 2.3b) Op til 5 timer (ca. 1 uge) 5-1 timer (ca. 2 uger) 1- timer (ca. 2-4 uger) Mere end timer Læger Ikke-læger Af de kvalitative kommentarer fremgår det, at mere end halvdelen af klinikkerne har set tidsforbruget som den største udfordring. Det går igen, at arbejdets omfang ikke står mål med udbyttet og ca. 1 ud af 8 speciallæger fremhæver specifikt i en kommentar i forbindelse med evalueringen, at arbejdet med akkreditering har taget tid fra patientbehandlingen. Evalueringen peger på en sammenhæng mellem tidsforbruget og det at blive akkrediteret ved første nævnsbehandling. Som det ses af figur 4 nedenfor har speciallægerne i 47 pct. af de midlertidigt akkrediterede klinikker brugt mindre end 5 timer på arbejdet. Denne sammenhæng er statistisk signifikant. Samtidig viser evalueringen, at 57 pct. af de klinikker, der blev akkrediteret ved første nævnsbehandling, havde brugt op til 1 timer. 8

10 Fig. 4: Akkrediteringsstatus fordelt på lægens tidsforbrug til akkreditering i klinikken Op til 5 timer (ca. 1 uge) timer (ca. 2 uger) 32 Sammenhængen mellem klinikkens tidsforbrug og udbyttet på parametrene systematik, læring, kvalitetsudvikling, patientsikkerhed og konkrete forbedringstiltag er undersøgt. Samlet ses en tydelig tendens, idet gruppen af klinikker, hvor lægerne har brugt op til 5 timer, har opnået et lavere udbytte end de øvrige klinikker på alle fem parametre. Det er dog ikke helt entydigt hvilken gruppe, der har oplevet størst udbytte det varierer alt efter hvilken parameter der spørges til. For alle fem parametre ses de klinikker, som har brugt mere end 1 timer gennemsnitligt, at have oplevet det største udbytte, men der er ikke signifikante forskelle i oplevelsen af udbytte i forhold til om der er brugt 5 1 timer, 1 timer eller mere end timer. Det kan således ikke konkluderes at klinikker, der har brugt mere end timer på akkrediteringsarbejdet, oplever et større udbytte end de klinikker, der har brugt 5 1 timer på arbejdet. Det understøtter antagelsen om, at det er nødvendigt at investere tid i arbejdet, men at det ikke nødvendigvis giver bedre resultater at bruge uforholdsmæssigt meget tid på arbejdet timer (ca. 2-4 uger) Akkrediteret ved første nævnsbehandling Har haft status "midlertidigt akkrediteret" eller "akkreditering pågår" 9 5 Mere end timer 3 Ved ikke 7. Oplevelsen af relevans og udtrykt modstand Evalueringen viser, jf. figur 5, at næsten 8 ud af 1 speciallæger har oplevet akkrediteringsstandarderne som relevante i nogen, i høj eller i meget høj grad heraf lidt mere end halvdelen i høj eller i meget høj grad. Figur 5: Oplevelsen af akkrediteringsstandarderne som relevante for arbejdet med kvalitet og patientsikkerhed i speciallægepraksis (spg. 1.1.) ,7 3,6 14,2 9,8 6,6 1,1 Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Ved ikke 9

11 Evalueringen viser endvidere, at speciallæger, der har haft status midlertidigt akkrediteret eller akkreditering pågår, i større udstrækning fandt, at standarderne slet ikke eller i mindre grad var relevante. Denne sammenhæng er statistisk signifikant. Der er ikke forud for evalueringen spurgt til speciallægernes vurdering af standardernes relevans. Derfor kan evalueringen ikke vise, hvorvidt speciallægernes holdning til relevans har påvirket arbejdet forud for opnåelse af akkreditering. På den anden side er det heller ikke muligt at slutte den modsatte vej, hvorvidt den endelige akkrediteringsstatus har haft indflydelse på vurderingen af relevans. Figur 6: Oplevelsen af relevans fordelt på akkrediteringsstatus Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Akkrediteret ved første nævnsbehandling Har tidligere haft status "midlertidigt akkrediteret" eller akkreditering pågår" Ikke overraskende viser evalueringen, at de speciallæger, der har oplevet akkrediteringsstandarderne som ikke-relevante, også har oplevet et mindre udbytte end de, som oplevede standarderne som relevante. Nedenfor vises en oversigt over oplevelsen af udbytte for de speciallæger, der slet ikke fandt akkrediteringsstandarderne relevante (figur 7a e, hvor udbyttespørgsmålene 1.2 systematik, 1.3 læring, 1.4 fokus på kvalitetsudvikling, 1.5 fokus på patientsikkerhed og 1.7 konkrete forbedringer krydses med oplevelsen af relevans, spg. 1.1): 1

12 Figur 7a e: Oplevet udbytte og relevans af akkrediteringsstandarder Respondenterne finder slet ikke akkrediteringsstandarderne relevante (N = 12) Spørgsmål 1.2: Udbytte mht. systematik De øvrige respondenter (N = 169) Spørgsmål 1.3: Udbytte mht. læring: Slet ikke eller i mindre grad 8 37 I nogen grad 21 I høj eller meget høj grad 6 4 Slet ikke eller i mindre grad I nogen grad I høj eller meget høj grad Spørgsmål 1.4: Udbytte mht. kvalitetsudvikling Spørgsmål 1.5: Udbytte mht. øget fokus på patientsikkerhed Slet ikke eller i mindre grad 8 I nogen grad I høj eller meget høj grad Slet ikke eller i mindre grad I nogen grad I høj eller meget høj grad Spørgsmål 1.7: Udbytte mht. konkrete forbedringstiltag Slet ikke eller i mindre grad 8 37 I nogen grad 21 I høj eller meget høj grad 11

13 Oplevelsen af manglende relevans af standarder kan have mange forklaringer, og er ikke undersøgt nærmere. Men kommentarer omkring udbyttet er gennemgået for den gruppe, der i forhold til en eller flere af udbytteparametrene 3 har angivet slet ikke at have fået noget udbytte. Det drejer sig om 42 klinikker ud af de i alt 183, der har deltaget i evalueringen. Det er overvejende i denne gruppe, at de negative kommentarer findes. Der tegner sig et billede af skepsis i forhold til akkreditering, hvor der gives udtryk for, at akkreditering fjerner fokus fra patienterne og fagligheden (9) opleves som tidsspilde (23) manglende konsensus eller diskrepans omkring de stillede krav (6) akkrediteringen er et udtryk for New Public Management og utidig indblanding (5) speciallægepraksis er små enheder, og akkrediteringsmodellen passer ikke hertil (2) Der er også enkelte positive kommentarer at finde i denne gruppe. Således går en kommentar på kontrol og anerkendelse af god lægelig praksis, to fremhæver samarbejdet med kolleger, og et par kommentarer vedrører eksempler på konkrete forbedringer, som også indgår andet steds i denne rapport. For at undersøge forskelle i oplevelsen af udbytte er de kvalitative kommentarer fra gruppen af speciallæger, der på en eller flere af udbytteparametrene har angivet et højt eller meget højt udbytte også gennemgået. Der er tale om 81 klinikker ud af de i alt 183, der har deltaget. Det overordnede billede af oplevelsen af udbytte er ikke overraskende mere positivt omkring gevinster, hvor der peges på Bedre overblik (31) Mere systematik (18) Øget fokus på patientsikkerhed (1) Fokus på medarbejdere, samarbejde og/eller ansvarsfordeling (9) Udvikling eller læring i klinikken (5) Andet (6) f.eks. at få kollegas vurdering, eller at sektoren eller klinikken anerkendes for sin kvalitet Også i denne gruppe af klinikker har tidsforbruget været en stor udfordring, og der har været enkelte, der har haft udfordringer med at forstå standarderne eller at kunne relatere krav til daglige arbejdsgange i klinikken. Gennemgangen af kommentarerne underbygger således evalueringens konklusioner i forhold til at oplevelse af udbytte tydeligt afspejler oplevelsen af relevans. Den generelle holdning til akkreditering spiller måske også ind, men den er ikke undersøgt forud for arbejdet. 3 Spm 1.2 systematik, spm. 1.3 læring, spm. 1.4 kvalitetsudvikling, spm. 1.5 patientsikkerhed og spm. 1.7 konkrete forbedringstiltag. 12

14 8. Oplevelsen af implementeringsprocessen Implementeringen har været organiseret i form af en række opstartsmøder, løbende deltagelse fra ekvis i møder i organisationer eller netværk, hjemmeside med en række værktøjer og vejledninger, mulighed for individuel rådgivning via telefon og mail, og der har været stillet et elektronisk dokumenthåndteringssystem (akkrediteringssitet) til rådighed. Der er i evalueringen spurgt ind til alle disse elementer Opstartsmøder I umiddelbar relation til opstartsmøderne var evalueringen lige efter deltagelse god og ramte i gennemsnit 3,7 på en skala fra 1 til 5, hvor 5 var bedst. Evalueringen af den samlede implementering af akkreditering viser, jf. figur 8 nedenfor, at ca. 4 ud af 1 vurderer, at møderne slet ikke eller kun i mindre grad har bidraget med den nødvendig viden på det tidspunkt, hvor hele processen er overstået, og klinikken er akkrediteret. Ca. 1 ud af 4 vurderer, at møderne i høj eller meget høj grad har givet klinikkerne den nødvendige viden. Figur 8: Oplevelsen af opstartsmødet i forhold til at give nødvendig viden om akkreditering for at kunne igangsætte arbejdet (spg. 4.1) (N = ) ,7 33,1 23,2 1 1,5 4,4 Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Der er afgivet 58 uddybende kommentarer om oplevelsen af opstartsmødet. 15 handler om uklarhed og manglende konsensus omkring indhold eller udmeldinger, manglende begrundelser for at indføre akkreditering, manglende forståelse af materialet. 12 kommentarer vedrører relevans og tidsforbrug eller manglende teknik, f.eks. at mødet ikke var relevant eller direkte spild af tid, at hjemmesiden var nede, at mødet kunne være erstattet af skriftlig information og at mødet havde en nedladende tone. Øvrige kommentarer handler ikke om opstartsmødet men mere generelt om rådgivning de er generelt mere positive. Rådgivning behandles mere detaljeret nedenfor. 4 To respondenter deltog ikke på opstartsmødet. 13

15 8.2. Savnet information Evalueringen viser, at lidt mere end hver fjerde har savnet information i arbejdet med akkreditering. Der er ikke fundet en klar sammenhæng mellem det at opleve savn af information og det at søge inspiration hos kolleger og deltage i netværk eller organisationsmøder. Evalueringen viser, at de speciallæger, der har savnet information, oftere har kontaktet ekvis pr. mail, men har fundet rådgivningen mindre anvendelig. Denne gruppe af speciallæger har også i mindre grad oplevet, at akkrediteringssitet har understøttet deres arbejde. Det kunne tyde på, at den tilgængelige information ikke har været lige anvendelig for alle. Det at savne information har dog ikke haft betydning for akkrediteringsstatus, idet de klinikker, som har angivet at savne information, ikke i højere grad end de øvrige har haft status midlertidigt akkrediteret eller akkreditering pågår inden endelig akkrediteringsstatus. I forbindelse med evalueringens spørgsmål om oplevelse af opstartsmødet og det at savne information er der afgivet 22 kommentarer med udsagn omkring tvivl om, hvad der kræves usikkerhed om, hvor barren ligger usikkerhed om, hvordan arbejdet skal gribes an vanskeligheder i at forstå en ny terminologi. Det indikerer, at kravene i standarderne ikke har været formidlet klart nok for alle Møder i netværk og faglige organisationer Når det gælder møder i netværk og organisationer, viser evalueringen, jf. figur 9 nedenfor, en marginalt mere positiv oplevelse af udbyttet af møder i netværk sammenlignet med organisationsmøder. Der er spurgt til i hvilken grad, møder i et fagkollegialt netværk har bidraget til arbejdet med akkreditering (155 svar) og i hvilken grad møder i relevante speciallægeorganisation har bidraget til arbejdet med akkreditering (165 svar). Figur 9: Oplevelsen af, hvordan henholdsvis møder i fagkollegiale netværk og specialeorganisationer har bidraget til akkrediteringsarbejdet (spg. 3.1 og 3.2) Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Møder i fagkollegialt netværk Møder i speciallægeorganisationen a) Deltagere i fagkollegialt netværk (N = 155) b) Deltagere i speciallægeorganisationer (N = 165) 14

16 Evalueringen viser, at de speciallæger, som deltog i møder i netværk og eller i organisationer og vurderede, at møderne bidrog til akkrediteringsarbejdet, opnåede et signifikant større udbytte af akkrediteringen end de speciallæger, som ikke deltog i møderne. Udbyttet for denne gruppe var også større end for de speciallæger, der deltog i møderne, men ikke fandt dem anvendelige i arbejdet. Det peger på, at informationer og sparring fra møderne ikke har været lige nemme for alle at omsætte i egen praksis. Speciallægerne har været gode til at dele materiale og hente inspiration hos hinanden som vist i figur 1 nedenfor. Figur 1: Oversigt over i hvilken grad materiale er stillet til rådighed og anvendt som inspiration i arbejdet med akkreditering (spg. 3.3 og 3.4) Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Stillet materiale til rådighed Anvendt andres materiale Evalueringen viser, at der er flere, der har hentet inspiration hos andre end der har stillet materiale til rådighed. Det kan skyldes udfordringer i at dele materiale på en nem måde. Akkrediteringssitet tilbød først en robust delefunktion efter, at disse fem specialer var igennem akkrediteringen. Det har vist sig, at de speciallæger, som har haft praksis længst det vil sige mere end 15 år har været signifikant mest tilbageholdende med at dele eget materiale med deres kolleger. 9. Oplevelsen af værktøjer og rådgivning Speciallægerne er som led i implementeringen introduceret til en række værktøjer: Akkrediteringssitet til brug for håndteringen af klinikkernes dokumenter ekvis hjemmeside indeholdende o vejledninger og skemaer til at understøtte f.eks. journalaudit og systematisk log o oversigter til mere bredt at understøtte speciallægernes overblik over arbejdet Rådgivning fra ekvis o ved møder i netværk eller organisationer o individuelt via mail eller telefon 15

17 9.1. Akkrediteringssitet Det var frivilligt at anvende akkrediteringssitet. 7 ud af 1 har valgt at bruge det i arbejdet, hvilket i evalueringen svarer til 139 speciallæger. Det fremgår af figur 11 nedenfor, hvordan sitet har understøttet arbejdet. Figur 11: Anvendelse af akkrediteringssitet i arbejdet (spg. 6.2 og 6.3) Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Akkrediteringssitet understøttede arbejdet med akkreditering Der kunne findes inspiration til arbejdet på akkrediteringsitet 16 1 Evalueringen viser, at akkrediteringssitet er oplevet mere som et arbejdsredskab end som en kilde til inspiration. Således har 6 ud af 1 i høj eller meget høj grad oplevet, at akkrediteringssitet har understøttet klinikkens arbejde, mens lidt mindre end 4 ud af 1 i høj eller meget høj grad har oplevet at kunne finde inspiration til arbejdet i akkrediteringssitet. De speciallæger, der valgte ikke at anvende akkrediteringssitet, har blandt andet givet udtryk for at de havde en anden velfungerende løsning i forvejen (16), at det var for besværligt (14) eller andet som f.eks. manglende tiltro til at sitet videreføres eller, at der ikke er behov. 92 speciallæger har kommenteret på fordele ved akkrediteringssitet f.eks. at det giver overblik, er overskueligt eller medvirker til at systematisere arbejdet (4) versionsstyring (9) hjælp og inspiration (9) at kunne sende dokumenter til surveyor og dele med andre (6) I evalueringen er også spurgt til, hvad speciallægerne har savnet ved akkrediteringssitet og 37 har haft konkrete forslag blandt andet efterlyses bedre brugervenlighed (21). Det går f.eks. på tilgængelighed uden log-in editeringsproblemer problemer omkring sletning af filer generelt for omstændeligt ikke altid logisk manglende kvittering for sendte retningslinjer 16

18 Øvrige kommentarer handler blandt andet om at savne konkret information eller eksempler, manglende fagspecificering og kritik af akkrediteringsmodellen 9.2. ekvis hjemmeside og øvrig rådgivning Knapt halvdelen af speciallægerne har anvendt ekvis hjemmeside i høj eller meget høj grad. Kun ca. 1 ud af 1 har slet ikke anvendt hjemmesiden, jf. figur 12 nedenfor Figur 12: Anvendelse af i klinikkens arbejde med akkreditering (spg. 5.3) ,1 26,8 21,9 16,9 1 9,3 Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Evalueringen viser, at de speciallæger, der har været i praksis i kortest tid, det vil sige 3 år eller mindre, signifikant oftere end de øvrige har brugt hjemmesiden, jf. figur 13. Figur 13: Anvendelse af i forhold til hvor længe speciallægen har været i praksis Slet ikke / i mindre grad I nogen grad I høj / meget høj grad -3 år 4-15 år 16 år eller derover 98 speciallæger har kommenteret på hvilke værktøjer, der er fundet særligt anvendelige på hjemmesiden. 17

19 Der er tale om Skabeloner, eksempler og skemaer generelt (41) Det hele eller det meste (19) Journalauditskemaet (17) Den trykte bog med standarderne (11). Udover hjemmesiden og de udarbejdede vejledninger, skabeloner, eksempler mv. har det også været muligt at få individuel rådgivning i ekvis. Det har ca. halvdelen af de speciallæger, der deltager i evalueringen benyttet sig af i forskellig grad. Figur 14 viser speciallægernes vurdering af rådgivning fra ekvis, og umiddelbart ses, at telefonrådgivningen er vurderet bedst mens ekvis deltagelse i netværksmøder er vurderet ringest: Fig. 14: Vurderingen af rådgivning fra ekvis (spg. 5.1) Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad a) Telefonisk rådgivning b) Rådgivning pr. c) ekvis' deltagelse på netværksmøder d) ekvis' deltagelse på organisationsmøder a) Telefonisk rådgivning (N = 91) b) Mailbesvarelser fra ekvis (N = 83) c) ekvis deltagelse i netværksmøder (N = 59) d) ekvis deltagelse i organisationsmøder (N = 18) Af figur 15 nedenfor fremgår det, opdelt på henholdsvis telefonrådgivning og rådgivning via mail, hvordan speciallægerne har oplevet rådgivningens anvendelighed i forhold til, om de har savnet information eller ej i akkrediteringsarbejdet. 18

20 Figur 15: Oplevelse af rådgivningens anvendelighed sammenholdt med savnet af information om akkreditering 1% 8% % % % % Har ikke savnet information Har savnet information Har ikke savnet information Har savnet information Telefonrådgivning Rådgivning pr. Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Telefonisk rådgivning - Savnet information: N = 31. Har ikke savnet information: N = 6. Mailbesvarelser fra ekvis - Savnet information: N = 3. Har ikke savnet information: N = 53. Evalueringen viser, at de speciallæger, der ikke har savnet information, også vurderer rådgivningen mest anvendelig. 68 pct. af de speciallæger, der ikke savnede information, oplevede i høj eller i meget høj grad telefonrådgivningen anvendelig mod 26 pct. i høj grad og ingen i meget høj grad for de, der havde savnet information. For rådgivning pr. mail var det 57 pct. af dem, der ikke havde savnet information, der oplevede høj eller meget høj grad anvendelighed mod 7 pct. af dem, der havde savnet information. Samlet set er telefonrådgivningen således vurderet mest anvendelig. 29 speciallæger har kommentarer til rådgivningen fra ekvis.: 13 er positive og refererer f.eks. til god sparring, venlige og hjælpsomme medarbejdere etc. 6 er konstruktivt kritiske og refererer f.eks. til ekvis ansatte som venlige men famlende 5 er direkte negative og ønsker f.eks. at lukke ekvis 5 kommentarer handler om andre ting. Det er væsentligt at følge op på oplevelsen af rådgivningen i evalueringer fra de næste specialer, idet erfaringerne fra denne første fase anvendes i rådgivningen med henblik på at opnå bedre sikkerhed i udmeldinger og sparring. 19

21 1. Overordnet om oplevelsen af survey 176 af de deltagende 183 speciallæger har svaret på spørgsmålet om oplevelsen af det eksterne survey. Helt overordnet har speciallægerne haft en meget positiv oplevelse, og 8 ud af 1 vurderer det som en god eller en meget god oplevelse, jf. figur 16 nedenfor. Figur 16: Oplevelsen af det eksterne survey (spg. 7.8) (N = 176) 5 46, , 15,9 1,6 Meget dårlig oplevelse 4,5 Dårlig oplevelse Hverken god eller dårlig oplevelse God oplevelse Meget god oplevelse 87 speciallæger har angivet uddybende kommentarer. 46 pct. er overvejende positive og har oplevet surveyorne som professionelle, imødekommende, velforberedte og med brugbar feedback. Det angives, at der har været god stemning og er skabt god læring. 37 pct. af kommentarerne er overvejende negative. Her fremhæves oplevelsen af surveyet som inspektion, at surveyors ikke har indsigt i specialet, og at metoden ikke fanger de brodne kar. Øvrige kommentarer er ikke entydigt positive eller negative men har blandet indhold. Speciallægerne vurderer, at de anvendte metoder interviews og gennemgang af journaler var anvendelige ved survey. Heraf oplever mere end 2 ud af 3, at metoderne var anvendelige i høj eller i meget høj grad. Ligeledes er der, som det ses af figur 17, stor tilfredshed med tiden, der var sat af til survey og tidspunktet for surveyets afholdelse Fig. 17: Vurdering af tid afsat til survey og tidspunkt på dagen for surveyets afholdelse (spm. 7.3 og 7.6) Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Ved ikke Tiden, der var afsat til surveyet, var passende Tidspunktet på dagen, hvor surveyet blev afviklet, var passende

22 Denne viden kan - i forbindelse med revision af standarder og koncept for survey - supplere den evaluering, som IKAS foretager blandt deres surveyors og blandt speciallægerne. Trods denne overvejende positive oplevelse af survey er der delte meninger blandt speciallægerne om, hvor lærerigt det er, at få andres øjne på kvalitetsudvikling i klinikken. Det fremgår af figur 18 nedenfor. Således vurderer 31,2 pct. det slet ikke eller i mindre grad lærerigt. 31,1 pct. finder det i nogen grad lærerigt mens 36,1 pct. finder det lærerigt i høj eller i meget høj grad. Figur 18: Vurderingen af hvor lærerigt det er, at få andres øjne på klinikken (spg. 7.4) ,1 22,4 14,8 16,4 13,7 1 Slet ikke I mindre grad I nogen grad I høj grad I meget høj grad Ved ikke 1,6 11. Generelle betragtninger Denne rapport har samlet erfaringerne fra de fem første specialer i akkrediteringen i speciallægepraksis. Processen for de allerførste ørelægerne var lidt kortere end for de øvrige. Ørelægerne havde således 9 måneder og de øvrige mindst 12 måneder til at forberede akkrediteringen i klinikken. I starten var der endvidere både fra ekvis og IKAS lidt famlen omkring kravene i enkelte indikatorer blandt andet i forhold til vurderingen af sikker kirurgi i standard 3 og hygiejne i standard 11. Endvidere er enkelte vurderingskriterier ændret lidt undervejs blandt andet i forhold til krav om dokumentation for kursus i hjertelungeredning. Endelig er der i løbet af perioden udviklet på akkrediteringssitet, hvilket også har skabt forståelig uro og utilfredshed blandt klinikkerne. Der er i denne rapport ikke fokuseret på forskelle eller ligheder mellem de fem specialer. Der er udarbejdet selvstændige rapporter for hvert speciale, der viser resultaterne af evalueringen for hvert enkelt speciale. Alligevel skal her fremhæves en særlig udfordring, som har haft stor betydning for oplevelsen af arbejdet i begyndelsen af perioden. Anæstesiologerne har i signifikant grad oplevet et lavere udbytte end de øvrige fire specialer og mere end hver tredje anæstesiolog finder ikke standarderne relevante. Det er markant flere end for de øvrige fire specialer. Dette afspejler sandsynligvis både en turbulent rådgivning med mange skiftende udmeldinger i forløbet og, at ca. 21

23 halvdelen af alle praktiserende anæstesiologer udelukkende bedøver i ørelægepraksis og derfor ikke passer ind i den eksisterende akkrediteringsmodel, hvor forudsætningen er, at der er en fysisk klinik. Denne problemstilling er også i nogen grad relevant for få deltidspraksis i andre specialer, hvor volumen eller bemanding er meget lille måske en enkelt speciallæge uden personale en enkelt eftermiddag om ugen eller endnu mindre, og hvor aktiviteterne begrænser sig til ganske få ydelser inden for et meget lille udsnit af de samlede mulige aktiviteter inden for specialet. 12. Afrunding Erfaringerne fra de fem første specialer søges anvendt til gavn for de sidste specialer i denne første runde og endvidere vil evalueringen indgå i arbejdet med at forberede anden runde af akkrediteringen i speciallægepraksis. Der udarbejdes en lignende rapport med opsamling for de kommende fem specialer; Gynækologi, Psykiatri, Børne- og Ungdomspsykiatri, Intern medicin og Radiologi forventeligt i 3. kvartal af 18 og en rapport for de sidste fem specialer; Neurologi, Plastikkirurgi, Oftalmologi, Dermatologi og Ortopædkirurgi forventeligt 2. kvartal

24 Bilag 1: Anvendte metoder I denne rapport er det for udvalgte spørgsmål undersøgt, om der er en statistisk sammenhæng mellem respondenters besvarelser på udvalgte spørgsmål. Det er eksempelvis undersøgt, om der er en sammenhæng mellem hvor lang tid, speciallægen har haft egen praksis, og vedkommendes udbytte af arbejdet med akkreditering. Der er til disse undersøgelser anvendt to statistiske redskaber; nemlig variansanalyse (oneway ANOVA) og two-sample t-test mellem grupper. Der redegøres for hvordan metoderne virker i nedenstående. Variansanalyse: Variansanalysen anvendes, når det ønskes at undersøge, om der er forskel på grupper af respondenter. Ovenstående eksempel blev undersøgt på denne måde. Speciallægerne er inddelt i 3 grupper afhængigt af, hvor længe de har haft praksis. Det undersøges så, om grupperne adskiller sig fra hinanden mht., hvordan de har svaret på et af spørgeskemaets spørgsmål, eksempelvis udbytte mht. patientsikkerhed. Det testes om hver enkelt gruppes gennemsnit adskiller sig fra de andres. Ud fra et statistisk perspektiv anskues altså nulhypotesen, H, om at gruppernes gennemsnit er ens:, hvor µ i betegner gennemsnittet for hver gruppe. H : μ 1 = μ 2 = μ 3 Er blot to gruppegennemsnit ud af tre forskellige fra hinanden afvises nul-hypotesen. ANOVA virker rent teknisk ved at sammenligne variansen mellem grupperne med variansen inden for grupperne. Varians mellem grupperne angiver, at der er forskel på gennemsnittene. Variansen inden for grupperne angiver, at der er stor usikkerhed på gennemsnittene. Jo større variansen er mellem grupperne sammenlignet med inden for grupperne, jo sikrere er vi på, at nul-hypotesen kan forkastes og at grupperne ikke har besvaret spørgsmålet ens. Hvis den samlede p-værdi i ANOVA-testen er under,5 afviser vi nulhypotesen, idet det er yderst usandsynligt, at data ser ud, som det gør, såfremt de tre gruppers besvarelser er givet med samme sandsynlighedsfordeling. Når det ved ANOVA konstateredes, at alle gennemsnit ikke er ens, undersøges det for hvilke grupper dette gælder, ved at lave en Bonferroni-test. Her gives en p-værdi for hvert enkelt par blandt grupperne, som angiver hvor sandsynligt det er, at data ser ud, som det gør, givet at gennemsnittene for parret er ens. Two-sample t-test mellem grupper: Denne metode anvendes, når det ønskes at se, om der er forskel mellem to grupper. Denne metode er blandt andet anvendt til at undersøge forskelle mellem gruppen af respondenter, som blev akkrediteret ved første nævnsbehandling, og gruppen som har haft status midlertidig akkreditering eller akkreditering pågår. 23

25 Forskellen på de to gruppers besvarelser er undersøgt ved en two-sample t-test mellem grupperne. Denne metode går overordnet set ud på at undersøge, om gennemsnitsbesvarelsen for de to grupper er så forskellige, at det kan afvises, at besvarelserne fordeler sig på samme måde. Metoden egner sig godt til at sammenligne grupper, hvor populationen ikke er særligt stor, hvorfor det ikke er et problem, at der kun er 38 klinikker i den gruppe, som ikke modtog endelig akkrediteringsstatus ved første nævnsbehandling. Til gengæld forudsætter t-testen umiddelbart, at variansen i data er ens for de to grupper. I praksis er det for hvert spørgsmål derfor først undersøgt, om variansen imellem besvarelserne er ens i de to grupper. Hvis dette ikke kan antages, er der i praksis tilføjet en option til t-testen, som sikrer, at den statistiske test tager højde for, at varianserne varierer. 24