Indførelse af elektroniske patientjournaler

Transkript

1 UKLASSIFICERET VUT II-L/STK Overtandlæge Michael Skøien With Syndikat Sun Tzu Indførelse af elektroniske patientjournaler i Forsvaret Evaluering af implementeringsprocessen. UKLASSIFICIERET

2 Indholdsfortegnelse 0. Resume Problemstilling Baggrund Problemformulering Afgrænsning Anvendte teorier og modeller Implementering af sundhedsinformatiske systemer Organisatoriske aspekter Forandringsledelse Evaluering Formål, mål og succeskriterier for projekterne Resultater, analyse og konklusion Undersøgelser Målopfyldelse Forventede sideeffekter Uventede sideeffekter Procesevaluering Konklusion på evalueringen Perspektivering Litteratur Anvendt litteratur...51 Tillæg A. Beskrivelse af undersøgelser...53 Spørgeskema A...53 Spørgeskema B...53 Spørgeskema C...53 Interviewundersøgelse...54 Spørgeskema D...54 Spørgeskema E...54 Tillæg B. Xdont evaluering (spørgeskema C)...55 Tillæg C. Interviewguide til evaluering af projektforløb...64 Tillæg D. EPJ forventninger (spørgeskema E)...67 Udarbejdet af OTLG Michael Skøien With Side 2 af 74

3 Abstract Implementing an electronic patient healthcare record is often a less satisfactory experience. Despite implementing a system which maybe technically sound, the user acceptance is somewhat missing and the main causes for this being poor project management and lack of organisational awareness. This work analyses the process of implementing an electronic dental patient healthcare record within the Danish Armed Forces Health Services. The implementation is evaluated with focus on the stated criteria for success, user perception and role of leadership by use of evaluation models as proposed by Vedung and Lundquist. The results states that the implementation of the electronic dental health care record can be characterised as a success, despite the finding that key leaders were not so visible during implementation. User perception of the system was good. The results of the evaluation were used in the next project in order to facilitate the implementation of an electronic medical patient healthcare record. Preliminary data suggests that user expectance has risen due the impact of the previous project. Further investigation is needed for evaluation of the last project and some suggestions are given regarding this. Udarbejdet af OTLG Michael Skøien With Side 3 af 74

4 0. Resume Mange implementeringsprojekter af informationsteknologi i sundhedssektoren har langt fra været succesfulde. Nogle gange har systemerne ikke direkte været uanvendelige, men de har ikke opfyldt brugernes forventninger. Disse nederlag tilskrives en sammenblanding af tekniske mangler, mangel på projektledelses kvalifikationer og organisatoriske mangler. Disse mangler har ofte ført til stress og modstand mod forandring i organisationen. Forsvarets Sundhedstjeneste har i perioden i samarbejde med Forsvarets Koncernfælles Informatiktjeneste gennemført anskaffelse og implementering af elektroniske patientjournaler til at understøtte Forsvarets sundhedsfaglige indsats. De anskaffede systemer er kommercielle produkter, der i et vist omfang er tilpasset Forsvarets særlige krav. For at kunne vurdere hvorvidt Forsvarets projekter har været succesfulde er derfor i forbindelse med implementeringen af det tandlægefaglige system Xdont foretaget spørgeskemaundersøgelse af brugernes forandringsparathed og der er et halvt år efter afslutningen af implementeringen gennemført en spørgeskemaundersøgelse og efterfølgende interview af brugerne for at kunne evaluere implementeringsprocessen med fokus på brugernes opfattelse af og ledelsens betydning for processen. Ud fra evalueringsmodeller opstillet af Vedung og Lundquist er der gennemført en analyse af spørgeskemasvar og interviews. Der er evalueret ud fra tre vinkler. Den første vinkel er top-down, hvor opfyldelse af projektmål formuleret af ledelsen ved projekts start evalueres. Den anden vinkel er bottom-up, hvor de af brugerne forventede effekter ved implementeringen af systemet og de uventede effekter, der er fundet ved undersøgelsen evalueres. Den tredje vinkel er selve implementeringsprocessen ved brug af Lundquists model. Den overordnede konklusion er at implementeringen Xdont må betegnes som en succes, på trods at der i analysen er identificeret at ledelsen har været mindre synlig i processen. Specielt bemærkes at mange af brugernes negative forventninger ikke slår igennem efter at systemet er taget i brug og at personalet generelt følte at systemet styrkede deres image både internet og eksternt, omvendt viser evalueringen også at der ikke var fokus nok på arbejdsgangsanalysen og at brugen af et standardsystem krævede tilpasninger i bestemmelsesgrundlaget for Forsvarstandplejen. Resultatet af evalueringen af implementeringen af Xdont blev brugt til at forme det efterfølgende projekt med anskaffelse og implementering af en sundhedsfaglig elektronisk journal. Ved opstaten af projektet blev der igen gennemført en spørgeskemaundersøgelse af brugernes forandringsparathed. Resultatet heraf viser, at det faktum, at der allerede er et rimeligt velfungerende system i drift reducerer brugernes negative forventninger og øger omvendt også de positive forventninger. Dette skaber et øget pres på projektledelsen i projektet. Projektplanen er udfærdiget i starten af 2004 og der ses god overensstemmelse mellem de metoder til håndtering af organisatoriske forandringer ved implementering af sundhedsinformatiske systemer som EPJ-observatoriet senere i 2004 har samlet i en håndbog baseret på danske og udenlandske erfaringer fra implementeringsprojekter. Der peges på at der er behov for en opfølgende undersøgelse af brugerperception af begge sundhedsinformatiske systemer og perspektiveringen giver forslag til dette. Udarbejdet af OTLG Michael Skøien With Side 4 af 74

5 1. Problemstilling 1.1 Baggrund. Forsvarets Sundhedstjeneste (FSU) startede medio 1996 et projekt omkring anskaffelse af en elektronisk patientjournal (EPJ) til Forsvarets læger og tandlæger. Der blev etableret en lokal projektorganisation (PO) med opgave at finde et sundhedsfagligt Commercial off the Shelf system (COTS), der kunne rumme alle IT og papirbaserede sundhedsfaglige systemer. Systemet skulle være fælles for læger og tandlæger og udnytte forsvarets IT infrastruktur (FIIN) til at sikre at helbredsoplysningerne altid var tilgængelige. En del af del af datagrundlaget skulle hentes fra forsvarets managementsystem (DeMars) via en grænseflade til DeMars. PO afleverede medio november 1996 en rapport til Forsvarskommandoens Informatikstab indeholdende en redegørelse for det hidtidige forløb, metodevalg samt en indledende behovsopgørelse. Der blev herefter gennemført en sundhedsfaglig og en informations behovs analyse med eksterne konsulenter. Projektet gik herefter i dvale, da de økonomiske ressourcer ikke var afklaret. Først i 1999 blev der gennemført et EU-udbud med en kravspecifikation for en fælles EPJ. Udbuddet måtte neutraliseres idet de tilbudte systemer ikke kunne overholde de sikkerhedsmæssige krav og var økonomisk uacceptable. Det blev derfor besluttet at foretage en opsplitning af projektet og anskaffe to COTS produkter i form af et tandlægefagligt system og lægefagligt system. Da den økonomiske ramme var begrænset blev det besluttet først at anskaffe et tandlægefagligt system. Anskaffelsen blev påbegyndt januar 2001 og der blev april 2001 ansat en ny projektleder til at forestå EU-udbud og efterfølgende anskaffelse og implementering. Denne gang blev projektet gennemført og systemet gik i fuld drift den 6. januar Der var tale om at overgå fra en papirbaseret journal og indberetningssystem til et fuldt elektronisk system baseret på forsvarets IT standarder. Ved gennemførelsen af projektet havde forsvarets sundhedsfaglige personale generelt ikke IT udstyr og kun et fåtal havde adgang til at udveksle elektronisk post via Forsvarets Integrerede Netværk (FIIN). Der var således tale om et væsentligt paradigmeskift for dokumentation og rapportering af det daglige arbejde. I efteråret 2003 blev anskaffelsen af en elektronisk patientjournal til forsvarets læger iværksat med deltagelse af den samme projektgruppe. Anskaffelsen og implementeringen blev gennemført på baggrund af erfaringerne fra det første projekt. Den lægefaglige EPJ blev successivt implementeret og var i fuld drift juni 2007 De anskaffede systemer er kommercielle produkter, der i et vist omfang er tilpasset Forsvarets særlige krav. De to systemer adskiller sig ved at systemadministrator i tandlægesystemet Xdont kun har ganske få muligheder for selv at konfigurere systemet, meden det sundhedsfaglige system COSMIC er et ramme system med store muligheder for at systemadministrator selv konfigurer systemet. Sagt på en anden måde kræver ny funktionalitet i Xdont at der implementeres en ny version af systemet medens ny funktionalitet i høj kan skabes i COSMIC uden at de skal implementeres en ny version. Formålet med dette speciale er at opstille metode til at evaluere implementeringsprojekterne og gennemføre evaluering på baggrund af indsamlede data. Udarbejdet af OTLG Michael Skøien With Side 5 af 74

6 1.2 Problemformulering. Evalueringsrapporter fra andre implementeringer af EPJ i sundhedssektoren peget på en række kritiske faktorer og fokusområder, der kan påvirke implementeringsresultatet. Generelt har der været tale om mindre succes i gennemførelsen (Nøhr 2004). Betragter man de aktuelle projekter i Forsvaret er den umiddelbare vurdering at implementeringerne forløbet efter planerne, med overholdelse af de økonomiske og tidsmæssige rammer, og med tilfredse brugere. Det leder frem til følgende problemformulering, der er delt i to. Først vil jeg evaluere på selve projekteterne ud fra nærmere definerede succeskriterier og dernæst undersøge ledelsens betydning for processen og resultatet. Problemformuleringen lyder derfor således: Har implementeringen af elektronisk patientjournal i Forsvaret været en succes? Hvilken betydning har ledelsen haft for proces og resultat? Til brug for besvarelsen af disse spørgsmål vil jeg anvende metoder hentet fra evalueringsteori og teori i relation til organisatoriske forandringer. I næste afsnit vil jeg beskrive valg og fravalg. 1.3 Afgrænsning Traditionelt har EPJ projekter været evalueret ud fra en rationel tilgang. I de senere år har flere (Berg 2000) peget på at EPJ ikke kun er et teknisk udviklingsprojekt, men må betragtes som et socialt udviklingsprojekt og evaluering af en implementering af EPJ nødvendigvis må omfatte metoder som belyser sociale, organisatoriske, kulturelle, kognitive og kontekstuelle forhold (Kaplan 2002). Jeg har valgt at begrænse min evaluering af projekterne til at omfatte en analyse af hvorvidt de projektmål, der blev opstillet ved ETJ-projektet begyndelse er nået og således om projektet kan betegnes som en succes. Jeg vil endvidere belyse effekten af implementeringen af ETJ i relation til forventede og uventede sideeffekter og endelig vil jeg undersøge implementerings-processen. Heraf følger, at jeg ikke vil foretage en evaluering af det faglige resultat af projektet, set ud fra en sundhedsfaglig og teknologisk vinkel, ligesom der er fravalgt en undersøgelse af de enkelte interessenters evaluering af projektet og en egentlig økonomisk evaluering af projektresultatet. Det betyder dog ikke, at disse vinkler helt fravælges. Der indgår naturligt i evalueringen af projektmål og sideeffekter dele af de faglige og økonomiske aspekter. Det andet spørgsmål i problemformuleringen vil være en vurdering af ledelsens betydning for proces og resultat. Jeg vil her tage udgangspunkt i undersøgelsen af implementeringsprocessen. Udarbejdet af OTLG Michael Skøien With Side 6 af 74

7 Udarbejdet af OTLG Michael Skøien With Side 7 af 74

8 2. Anvendte teorier og modeller. Dette afsnit skal give baggrund for og beskrivelse af de teorier og modeller, der anvendes til besvarelse af problemformuleringen. 2.1 Implementering af sundhedsinformatiske systemer Der er anvendt mange ressourcer til implementering af sundhedsinformatiske systemer i det danske sundhedsvæsen. I de fleste regioner er der projekter med elektroniske patientjournaler, men ikke alle implementeringer er forløbet gnidningsløst. Dette konstateres også i EPJ Observatoriets statusrapporter, hvor den samlede vurdering er, at næsten alle EPJ projekterne er blevet forsinkede, og projektmålsætningerne er blevet reducerede i forhold til de oprindelige planer. Som årsag til disse forsinkelser nævnes blandt andet: De organisatoriske dele af EPJ projekterne, som indbefatter undervisning og eventuel reorganisering af det sundhedsfaglige arbejde, er store opgaver, som ofte er blevet undervurderet, idet EPJ projekter er i langt højere grad organisationsudviklingsprojekter end tekniske projekter. EPJ tilfører sygehusvæsenet helt nye muligheder for organisationsudvikling. (Bernstein 2000). Der er blevet større opmærksomhed på, at nogle fejlslagne IT-projekter måske skyldes, at man ikke anvendte flere ressourcer på de menneskelige og organisatoriske aspekter, så som uddannelse og frikøb af personale i forbindelse med implementering af informations teknologi (Lorenzi og Riley 1995) og undersøgelser i USA har vist, at på trods af at sundhedsinformatiske systemer var teknologisk tilfredsstillende, så fejlede op mod halvdelen af dem når de kom ud i den virkelige verden. Blandt andet på grund af brugermodstand, ved for eksempel at omgå systemet. (Anderson 1994). Flere evalueringer, der er foretaget efter implementering af EPJ på danske sygehusafdelinger påviser modstand mod forandring og hvorfor den opstår. Hvis man på forhånd kan imødegå denne modstand ved at pejle sig ind på problemområder, og derved finde ud af, hvor der skal sættes ind for at søge at mindske angst og frustrationer hos medarbejderne, er det før implementeringen muligt at nå at handle på nogle af disse frustrationer. Det at starte med at vurdere hvor personalet befinder sig, vurdere hvor forandringsparate de er og lade dette danne grundlag for planlægningen af processen kan være et godt udgangspunkt for en implementeringsproces. En metode til dette er en forandringsparathedsundersøgelse udviklet i USA (Lorenzi, 1995). Forandringsparathedsundersøgelsen er udformet som en spørgeskemaundersøgelse og er tilpasset danske forhold af medarbejdere ved Aalborg Universitet (Kristensen 2000). Undersøgelsen er gennemført på flere sygehusafdelinger i Danmark og konklusionen er at forandringsparathedsundersøgelsen kan anvendes som et organisatorisk analyseredskab, idet den giver pejling på styrkeog problemområder i forbindelse med implementeringen af et sundhedsinformatisk system. EPJ-observatoriet har i 2004 samlet de danske og udenlandske erfaringer fra implementeringsprojekter i en håndbog, der beskriver metoder til håndtering af orga- Udarbejdet af OTLG Michael Skøien With Side 8 af 74

9 nisatoriske forandringer ved implementering af sundhedsinformatiske systemer (Nøhr 2004). 2.2 Organisatoriske aspekter Det er i de sidste år blevet påpeget, at hvis der ønskes en succesfuld implementering af sundhedsinformatiske systemer i komplekse organisationer som sundhedsvæsenet, kræver det en blanding af tekniske og organisatoriske færdigheder. Det teknisk bedste system kan vise sig at være fuldstændigt ubrugeligt, hvis brugerne viser modstand og mangler ejerskabsfølelse for produktet. Hvorimod et teknisk dårligt system kan vise sig at fungere udmærket i brugerorganisationer, som har stort ejerskab for produktet. Der er identificeret tre nøglekomponenter (Lorenzi og Riley 1995), som er vigtige at forholde sig til ved implementering af sundhedsinformatiske systemer. Hardware Peopleware Software Figur 2-1 Nøglekomponenterne i succesfuld implementering af sundhedsinformatiske systemer (efter Lorenzi og Riley 1995). Traditionelt har fokus først været på hardware, derefter på software og til sidst på peopleware. De humanistiske og organisatoriske aspekter, under fællesnævneren peopleware, har stor betydning i forandringsprocessen, der består af tre faser; planlægningsfasen, beslutningsfasen og implementeringsfasen. Det er det vigtigt at tage højde for peopleware i projektplanen, som ellers traditionelt omhandler software, hardware og økonomi. Peopleware handler om at involvere medarbejderne og kommunikere effektivt med dem for at opnå en succesfuld implementering. Faktorer så som store omkostninger og synlighed (det at en computer er et fysisk objekt) i organisationen er med til at forstærke, at rækkefølgen i tilgangen til den sundhedsinformatiske implementeringsproces bliver: Først hardware, så software og til sidst peopleware. Denne måde at betragte tingene på, gør at værktøjerne/teknikken får en større betydning end produktet. For at lave systemer af høj kvalitet er det nødvendigt at vurdere de tre sæt af forudsætninger som vises i figur 2.2. De er alle tre essentielle for at lave en succesfuld implementering af informations teknologi. Udarbejdet af OTLG Michael Skøien With Side 9 af 74

10 Tekniske kvalifikationer Projektlederens kvalifikationer Humanistiske og organisatoriske kvalifikationer Figur 2-2 Forudsætninger for at systemet kan virke (efter Lorenzi og Riley 1995). De tekniske kvalifikationer symboliserer en lang række forudsætninger så som computere, teknisk viden og erfaring, database, data elementer i systemet med mere. Disse forudsætninger er nødvendige for at kunne lave et succesfuldt system. Projektledelseskvalifikationer symboliserer den viden, teknikker og færdigheder, som er nødvendige for at kunne (administrere) lede et projekt omkring implementering af informationsteknologi på en succesfuld måde. Herunder hører også de traditionelle ledelsesfunktioner så som organisering, planlægning, motivering med mere. Humanistiske og organisatoriske kvalifikationer symboliserer en stor mængde af forudsætninger, som er nødvendige for at kunne interagere med alle de interessenter, som er uden for projektgruppen. Et IT-projekt vil typisk påvirke alle i den berørte sundhedsfaglige organisation. I det sundhedsinformatiske samfund har man været længe om at erkende vigtigheden af de humanistiske og organisatoriske kvalifikationer. Årsager til dette kan være, at man vurderer det vigtigere at få nogle dygtige teknikere til at tage sig af projektet eller at de organisatoriske ting kan håndteres med almindelig sund fornuft Modstand mod forandringer. Forandring medfører som regel en omfordeling af magt, status og arbejdsvaner. Uanset om organisationen oplever forandringen som en nødvendighed eller en vision, og om lederne og medarbejderne finder ændringerne gode eller dårlige, vil der kunne opstå kulturel modstand på grund af den usikkerhed og angst, der i sig selv er forbundet med omstillingen. Omstillingsperioden vil sandsynligvis tage nogen tid, da magt- og statuskriterierne undervejs vil blive så flertydige, at alle, der er involveret i omstillingen, vil føle sig ubehageligt til mode selv de, der i den sidste ende vil have fordel af den (Schein 1986). Det er imidlertid ikke alle medarbejdere, der nødvendigvis er modstander af forandringen, idet den enkelte medarbejders modtagelse af det nye system vil afhænge af den enkeltes opfattelse af og forventninger til systemet. Optimisten forventer øget produktivitet, udfordringer og forøget viden og kompetence. Pessimisten forudser, at systemet vil fratage folk jobs og kompetence og gøre arbejdet meget rutinepræget. Endvidere kan pessimisten være bange for ikke at kunne klare den nye teknologi og de deraf følgende ændrede arbejdsgange (Anderson 1994). De Udarbejdet af OTLG Michael Skøien With Side 10 af 74

11 negative forventninger kan medføre modstand mod forandringen. Hvis det nye system skal føre til succes, må man fra starten erkende, at modstanden ikke er rettet mod de sundhedsinformatiske systemer, men mod de kulturændringer, som introduktionen af disse medfører og derfor handle ud fra det (Schein 1986). Den medicinske viden i de sidste år tiltaget voldsomt og IT professionelle har udviklet tekniske værktøjer og strategier som kan håndtere denne store mængde af informationer. De tekniske og strategiske værktøjer bliver mere og mere avancerede og påvirker samtidig flere og flere aspekter i den sundhedsfaglige organisation, hvor de implementeres. Forandringen, som ofte kommer meget hurtig, kan medvirke til øget stress i organisationen. Ledere og IT medarbejdere har ofte en manglende forståelse for eller en manglende viden om de organisatoriske aspekters betydning for implementering i organisationen. Der kan være uendelig mange årsager til modstand mod forandring i en given situation, og begrebet modstand bruges ofte i en meget bred betydning. Det er derfor vigtigt, at analysere modstanden i den givne situation for at finde ud af om modstanden skyldes: modstand mod en bestemt ændring modstand mod dem der ændrer I det første tilfælde er modstanden mod de specifikke ændringer i systemet. I det andet tilfælde handler modstanden om negativitet til selve organisationen, specifikke afdelinger eller specifikke ledere (Lorenzi 2001). Det er vigtigt, at begge typer af modstand bliver håndteret i organisationen, og det er derfor meget vigtigt at identificere hvilken type modstand, der er den fundamentale i den aktuelle situation. Lorenzi og Riley påpeger, at ved introduktion af et nyt informations teknologi system i en organisation, er der tre faktorer som er vigtige at kende: Hvordan er klimaet i organisationen positivt eller negativt, samarbejde eller opposition? Hvordan var oplevelsen af den sidste implementeringsproces i organisationen? Var det en god eller en dårlig oplevelse? Hvordan var den tekniske kvalitet af et tidligere implementeret informations teknologi system? 2.3 Forandringsledelse Ledelse af forandringsprocesser har været genstand for mange overvejelser gennem tiderne. En måde at anskue forandringsprocessen er enten som en episode eller en kontinuert proces. Som eksempel på episoden første kan nævnes Kurt Lewin og hans tanker om at en forandringsproces indeholder tre faser; En optøning med henblik på at få etableret en forandringsparathed i systemet, en forandring i betydningen at ændre, udvikle nye holdninger og adfærdsmønstre og endelig en fastfrysning for at stabilisere og understøtte de nye holdninger og adfærdsmønstre. Som eksempel på den kontinuerte proces kan nævnes Karl Weick hvor forandringsprocessen består i en fastfrysning af organisationen hvor der skabes et overblik, en rebalancering hvor organisationen refortolkes og endelig en optøning med fortsat improvisation og læring (Høpner 2007). Udarbejdet af OTLG Michael Skøien With Side 11 af 74

12 2.3.1 Forandringsledelse ved implementering af systemer Lorenzi og Riley har udviklet en model for de overordnede processer i forandringsledelse. Modellen giver blandt andet lederne et overblik over organisationen ved implementeringens start. Modellen, der indeholder fem faser, har vist sig at være effektiv i forhold til at reducere modstanden mod den teknologiske forandring. De fem faser er: 1. Vurdering og informationsindsamling 2. Feedback og optioner 3. Udformning af plan (strategi) 4. Implementeringsfasen 5. Evalueringsfasen Den første fase indeholder vurdering og informationsindsamling. Vurderingsfasen er fundamentet for beslutningen om den organisatoriske viden og brugerkendskab samt ejerskab for det aktuelle sundhedsinformatiske system som overvejes implementeret. Den anden fase omhandler feedback og optioner (hvilke valg skal træffes). Informationerne fra den første fase skal analyseres, integreres og formuleres til præsentation for den øverste ledelse samt til dem der er ansvarlige for den tekniske implementering. Denne fase indeholder nøglen til at forstå styrke og svagheder ved den aktuelle plan samt til at identificere positive og negative forandringskræfter i organisationen. I denne fase, er det vigtigt for at sikre at organisationen lærer af de input som er kommet fra medarbejderne, at handle strategisk i beslutnings- og implementeringsprocesserne. Den tredje fase, udformning af plan (strategi), bruger de ansvarlige for forandringen de indsamlede informationer til at udforme en effektiv forandringsplan der tager udgangspunkt i de organisatoriske perspektiver. Planerne skal fokusere på hvordan de personer, der påvirkes af forandringen, kan inddrages i processen. Den fjerde fase, implementeringsfasen, handler om implementering af forandringsstrategien i organisationen, ikke om implementering af det nye system. Forandringsstrategien skal være implementeret inden den aktuelle implementering af systemet, da den fokuserer på holdnings og handlingsbearbejdning hos medarbejderne og kræver tid. Den femte fase, evalueringsfasen, samler informationer seks måneder efter at det nye system er blevet implementeret for at finde ud af hvordan medarbejderne har taget systemet til sig og give basis for en yderligere tilpasning. For at danne basis for gennemførelse af sidste del af Lorenzi og Reileys model er der designet en ny spørgeskemaundersøgelse med basis i forandringsparathedsundersøgelsen. 2.4 Evaluering Grundlæggende kan man anlægge to synsvinkler på evaluering, nemlig top-down orienteret og bottom-up orienteret, som nedenfor citeret (Vedung 2000, p.25): In recent times, attempts have been made to marry evaluation to various top-down management doctrines, particularly management by objectives and management by results. This is by no means necessary. Evaluation can be part and parcel of more bottom-up or pluralist management doctrines as well, Udarbejdet af OTLG Michael Skøien With Side 12 af 74

13 such as professional evaluation, client-oriented evaluation and stakeholder evaluation Evaluering af målopfyldelse Top-down orientering ved anvendelse af en målopfyldelsesmodel (Vedung 2000, p.39). Denne er operationaliseret ved at benytte projektbeskrivelsen og i heri opstillede formål og succeskriterier som målepunkter. Målopfyldelsesmodellen er ideelt baseret på objektivitet og stiller som skitseret to spørgsmål: Er resultatet i overensstemmelse med mål for projektet? Er resultatet produceret af projektet? Der ligger nogle begrænsninger i målopfyldelsesmodellen. Den tager ikke specifikt hensyn til omkostninger (eksempelvis tid, penge og personaleforbrug), Den kan ikke håndtere tvetydige eller vage mål, ej heller kataloger af mål, hvor mål kan modarbejde hinanden. Endelig måler den ikke utilsigtede effekter af projektet. Modellen ser bort fra skjulte dagsordner og betragter ikke implementering som et problem, idet implementeringsprocessen behandles som en sort boks, hvor man ikke kan betragte hvad der sker. (Vedung 2000). Nedenfor er målopfyldelsesmodellen illustreret: Er de opnåede resultater i overensstemmelse med mål? Projekt Sammenhæng? Opnåede resultater i målområdet Figur 2-3 Målopfyldelsesmodel (efter Vedung 2002) Evaluering af sideeffekter Bottom-up orientering ved hjælp af en sideeffekts model (Vedung 2002 p.50). Bruges til at evaluere den klientorienterede brugertilfredshed i relation til det implementerede system og se på hvilke forventede sideeffekter projekterne har medført: Udarbejdet af OTLG Michael Skøien With Side 13 af 74

14 Er de opnåede resultater i overensstemmelse med mål? Projekt Forventede resultater i mål området? Sammenhæng? Forventede positive sideeffekter Forventede negative sideeffekter Uventede positive sideeffekter Uventede negative sideeffekter Figur 2-4 Side effekts evaluering (efter Vedung 2000) Modellen tager ikke specifikt hensyn til omkostninger (eksempelvis tid, penge og personaleforbrug) og at den ikke måler ikke utilsigtede effekter af projektet. Modellen ser fortsat bort fra skjulte dagsordner og betragter fortsat ikke implementering som et problem, idet implementeringsprocessen behandles som en sort boks, hvor man ikke kan betragte hvad der sker Evaluering af implementeringsproces En måde at undersøge implementeringsprocessen er Lundquists implementeringsmodel (Vedung 2000 p.227). Modellen involverer tre forhold, forståelse, evne og vilje, der påvirker implementeringen. Disse forhold skal være til stede hos alle aktører i implementeringen, hvis denne skal føre til målopfyldelse. Udarbejdet af OTLG Michael Skøien With Side 14 af 74

15 AKTØRER Styregruppe Forståelse for opgaven Kapabilitet Ressourcer Personale Hardware Økonomi Villighed Følgegruppe Projektgruppe Referencegruppe Brugere Figur 2-5 Model for evaluering af implementeringen (efter Lundquist 1987) Den første pointe er at uanset hvor klart formuleret projektet er, vil manglende forståelse hos de udførende (projektgruppen) ikke kunne føre til målopfyldelse og manglende forståelse af projektet hos de implementerede (brugere) vil påvirke såvel implementering som resultat. Den anden faktor, der kan påvirke implementeringen er manglende kapabilitet, eksempelvis vil mangel på personale, udstyr eller økonomiske ressourcer vil gøre det sværere at opnå de ønskede resultater. Også faktorer som talent, tid og energi vil kunne påvirke resultatet. Den tredje faktor, der kan påvirke resultatet af implementeringen er holdningen til projektet, villighed til at gennemføre dette, her er specielt topledelses holdning vigtig for implementeringen. 2.5 Formål, mål og succeskriterier for projekterne Nedenstående er givet projektformål, projektmål og succeskriterier for ETJ projektet formuleret før valg af leverandør. ETJ-projektets formål Projektet gennemføres for at: Kvalitetssikre behandlingen ved forsvarets tandlægeklinikker Sikre at alle relevante helbredsdata er tilgængelige når de skal anvendes Skabe mulighed for relevant dokumentation Skabe kontinuitet i behandlingen Skabe funktionsdygtige klinikker ETJ-projektmål: Formålet opfyldes ved at: A. Anskaffe en elektronisk tandlæge journal B. Sikre computeradgang på alle klinikker C. Gennemføre relevant uddannelse af alle brugere D. Tilpasse journalen Forsvarets faglige og forsvarsspecifikke behov ETJ-projektets succeskriterier: Effekten skal måles ved: Overholdelse af tidsfristerne i projektplanen At 100% af alle tjenestesteder har afsat midler til hardware på budget for 2002 Opgjort behov for kabling og PC arbejdspladser på alle klinikker inden 1. Udarbejdet af OTLG Michael Skøien With Side 15 af 74

16 november 2001 Opgjort behov for brugernes grundlæggende PC uddannelse inden oktober 2001 Alle brugerne uddannet i grundlæggende PC-brug inden de skal modtage undervisning i ETJ Alle brugere uddannet i ETJ inden ibrugtagningen på den enkelte klinik At alle klinikker er på FIIN inden 1. februar 2002 At alle klinikker er etableret med PC arbejdspladser inden 1. marts 2002 At alle brugere er oprettet med intern mail adresse inden 1. januar 2002 At der er lavet en evalueringsrapport over pilotprojektet inden implementeringen fortsætter på de øvrige klinikker Tilgængelighed steget til 99% et år efter fuld implementering Tilfredshedsscore steget med 50% et år efter fuld implementering Figur 2-6 ETJ-projektets formål (Bartholdy 2001) Nedenstående er givet projektformål, projektmål og succeskriterier for EPJ projektet formuleret før valg af leverandør. EPJ-projektets formål Forsvarets Sundhedstjeneste forventer at indførelsen af EPJ vil medvirke til: At sikre tilgængeligheden til alle patienters aktuelle sundhedsfaglige data uden geografisk begrænsning. Dette betyder således: at der sikres et sammenhængende patientforløb, at det sundhedsfaglige personale vil få et bedre overblik over sundhedsfaglige oplysninger så ressourcer kan udnyttes optimalt, At lette hverdagen for det sundhedsfaglige personel på infirmerierne. Dette betyder således: at der sikres en hurtig og præcis elektronisk kommunikation og datatransport (medicinske) mellem EPJ og de interne samt relevante eksterne interessenter, at adgangen til opdaterede behandlervejledninger, rekommanderet medicin, vaccinationsprotokoller m.v. sikres at der sikres øget læsbarhed af journalnotater så fejlbehandling undgås, og dermed en bedre sundhedsfaglig dokumentation, at muligheden for den nødvendige / lovmæssige sanitets- og sundhedsfaglige dokumentation sikres, at data kun skal registreres en gang og genbruges i alle relevante sammenhænge. At ledelsen centralt og lokalt har et validt og opdateret datagrundlag for varetagelse af ledelsesopgaven. Dette betyder således: at der skabes forudsætninger for opdateret information hos respektive ledere at muligheden for at kommunikere sundhedsfaglige informationer ud til underlagte myndigheder / personale optimeres. at der er mulighed for fleksibel lokal og central rapportgenerering, at kvaliteten af de sundhedsfaglige inspektioner understøttes og styrkes. Udarbejdet af OTLG Michael Skøien With Side 16 af 74

17 at muligheden for kompetenceudvikling, rekruttering og fastholdelse af sundhedsfagligt personale bedres. At understøtte forebyggelse, forskning og kvalitetsudvikling gennem systematisk registrering af valide data. Dette betyder således: at mulighederne for helbredsovervågning af undersøgt personel mhp på hurtig intervention optimeres, at der skabes forudsætninger for etablering af et forskningsmiljø ved forsvarets infirmerier, at de enkelte undersøgelses- og behandlingsforløb optimeres Formålet opfyldes ved at: EPJ-projektmål: At sikre tilgængelighed til alle patienters aktuelle sundhedsfaglige data uden geografisk begrænsning. Formålet opfyldes ved at have: Et system der giver let adgang til at få et overblik over relevante sundhedsfaglige informationer omkring patienten Et system der kan sikre en standardisering af undersøgelser og behandling standardiserede undersøgelses forløb tilgængelige procedurer i EPJ person og for hele infirmerier / grupper af personel. Let journaladgang uden geografisk begrænsning At lette hverdagen for det sundhedsfaglige personel på infirmerierne. Formålet opfyldes ved at have: Et system der er så brugervenligt, at ingen fristes til ikke at føre journal et brugervenligt journaliseringssystem hvor data indtastet kun en gang standardiserede vejledninger og procedurer til udførelse af de enkelte kliniske delundersøgelser et bookingsystem med advarsels og markering/funktion for diverse undersøgelser et system hvor indkaldelser til periodevise undersøgelser kan trækkes for den enkelte Et system der giver let adgang til elektronisk adgang til faglige vejledninger, bestemmelser og direktiver En enkel brugerflade Enklere administration Sikkerhed for at der ikke mistes data At ledelsen centralt og lokalt har et validt og opdateret datagrundlag for varetagelse af ledelsesopgaven. Formålet opfyldes ved at have: Et system der kan understøtte driftrapportering til højere myndighed, ud fra nærmere fastsatte kriterier. Et system der kan indeholde, behandlervejledninger, medicinrekommendationer, som løbende kan opdateres og som det er nemt for brugere at anvende. Et system hvor det er muligt at uddrage data til statistisk behandling uden at dette interfererer med daglig drift. Udarbejdet af OTLG Michael Skøien With Side 17 af 74

18 Et system der hvor sundhedsfaglige data let kan udtrækkes til brugerdefinerede (styringsrelevante) sundhedsfaglige rapporter, Et system der gennem anvendelse af en rapportgenerator kan udtrække relevante rapporter på Infirmeri eller FSU niveau Et system der kan generere både centrale og decentrale rapporter (vejledning af fx FKO, CH/PM/tjenested, forskning og overvågning) At understøtte forebyggelse, forskning og kvalitetsudvikling gennem systematisk registrering af valide data. Formålet opfyldes ved at have: Et system hvor der er mulighed for indhentning af epidemiologisk information ang. sygdomsmønster og hyppighed fordelt på tjenestesteder / enheder / med henblik på at kunne identificere systematiske forskelle således at man ledelsesmæssigt kan intervenere (optimering) Et system der kan generere rapporter vedr. ydelsestyper, diagnoser, behandlingsforløb, med henblik på at kunne foretage allokering af ressourcer både økonomiske og personelmæssige. Et system der sikrer let adgang til relevante sundhedsfaglige data så disse kan anvendes i forsknings øjemed EPJ-projektets succeskriterier: Det er ikke specifikt defineret hvorledes effekten skal måles. Figur 2-7 EPJ-projektets formål (Bartholdy 2004) Udarbejdet af OTLG Michael Skøien With Side 18 af 74

19 3. Resultater, analyse og konklusion Dette afsnit vil fremlægge resultaterne af de udførte spøgeskemaundersøgelser og interviewundersøgelsen. Jeg vil foretage analysen af resultaterne ved anvendelse af de teoretiske modeller opstillet i forrige afsnit. 3.1 Undersøgelser Der er under projekterne gennemført 6 forskellige undersøgelser for senere at kunne evaluere forløbene. En nærmere beskrivelse af undersøgelserne og gennemførelsen er anført i tillæg A. Herunder er der i skemaform skitseret de enkelte undersøgelser og deres formål. Nr. Hvad Hvornår Formål A Spørgeskemaundersøgelse vedrørende PC kendskab Juli 2001 At kortlægge de kommende brugers PC færdigheder med henblik på at planlægge nødvendig grunduddannelse (tandlæger og B C D E F Spørgeskemaundersøgelse vedrørende brugernes forandringsparathed Spørgeskemaundersøgelse vedrørende brugernes oplevelse af processen Interviewundersøgelse af alle brugere vha. gruppeinterview, med udgangspunkt i resultaterne af de to sidste spørgeskemaundersøgelser Spørgeskemaundersøgelse vedrørende PC kendskab Spørgeskemaundersøgelse vedrørende brugernes forandringsparathed September 2001 Marts 2003 April - maj 2003 Februar 2004 Maj 2004 Tabel 3-1 Oversigt over gennemførte undersøgelser klinikassistenter) At kortlægge brugernes forandringsparathed (tandlæge og klinikassistenter) At vurdere brugernes oplevelse af implementeringsprocessen og skabe et grundlag for den kommende interviewundersøgelse (tandlæger og klinikassistenter) At give alle brugere mulighed for at kommentere på implementeringsprocessen med egne ord, samt afdække en så bred variation af erfaringer og synspunkter som muligt (tandlæger og klinikassistenter) At kortlægge de kommende brugeres PC færdigheder med henblik på at planlægge nødvendig grunduddannelse (læger, sygeplejersker, sanitetspersonel, lægesekretærer) At kortlægge brugernes forandringsparathed (læger, sygeplejersker, sanitetspersonel, lægesekretærer) 3.2 Målopfyldelse Således vil jeg gå videre med evalueringen af mål opfyldelsen for ETJ-projektet. Jeg har valgt at gå systematisk frem og evaluere på de enkelte projektformål og succeskriterier, som er anført i projektbeskrivelsen (Bartholdy 2001) Kvalitetssikring Første punkt vedrører projektets effekt på kvalitetssikring af behandlingen ved forsvarets tandlægeklinikker. Udarbejdet af OTLG Michael Skøien With Side 19 af 74

20 Generelt peges der på at Xdont har bidraget til en styrkelse af den daglige journalføring, primært som følge af at brugerne tvinges at føre en mere grundig journal. Nedenstående citater illustrerer dette: Nu bliver du også tvunget til at skrive ting i journalen, hvor du før hurtigt kunne skrive lidt bedøvelse og så slut. Nu skal du ind og skrive de ting der der er ikke nogen nemme veje. Jeg tror, at for hele forsvarstandplejen samlet set, er det blevet bedre. Vi skriver på samme måde, bruger de samme diagnoser i stedet for sådan nogle hjemmestrikkede nogle. Jeg tror det er lidt mere strømlinet og det gør da det lidt nemmere. Det anføres også, at journalen altid er til stede, selv hvis patienten kommer fra et andet tjenestested (hvor helbredsposen findes) og altid er opdateret. Nedenstående citater illustrer dette: Men der er forsvundet en kæmpe frustration, sidder jeg lige og kommer i tanke om. Når der kommer en eller anden patient udefra ind ad døren. Hvor man lige kan taste ind og så er journalen fremme. Det er fedt (stor tilslutning). Man behøver ikke at fare rundt og lede alle vegne, det er virkelig en positiv forandring Jeg syntes også at de to gange jeg har haft patienter der var undersøgt i XX. Det var da fedt at se, fordi de kunne så ikke huske om de var blevet godkendt eller ej og så kunne jeg se direkte, at de var blevet undersøgt og godkendt og at der var OBS det og det. Det syntes jeg, det var rart Enkelte peger på at det øgede tidsforbrug og de indledningsvise tekniske vanskeligheder kan have haft en negativ effekt på den sundhedsfaglige kvalitet, men det er ikke den generelle opfattelse. Sammenfattende må man konkludere at Xdont har medført en kvalitetssikring af behandlingen Tilgængelighed Projektet skal sikre at alle relevante helbredsdata er tilgængelige, når de skal anvendes. I projektbeskrivelsen vil det sige at anskaffe en elektronisk tandlægejournal og sikre computeradgang på alle klinikker. Her må man umiddelbart konkludere at dette er sket, om end enkelte klinikker ikke har fået så mange arbejdspladser som ønsket, som efterfølgende citater viser: Der skal være en arbejdsstation pr. person. Det skal der være. Vi mangler den hver dag. Når en sidder og sætter til så kan den anden ikke komme til at arbejde. Det har man så prøvet nogle gange og så går man rundt og kigger og tænker på hvad man skal finde på at lave. For det man skal lave det skal man bruge en computer til. Vi har kun tre og de er hurtigt optaget. Formelt er projektformålet således opfyldt, men jeg har alligevel valgt at gå lidt dybere ind i spørgsmålet og dele det i tre. For det første vil jeg evaluere på tilgængeligheden af den enkelte patients tandlægefaglige oplysninger på et vilkårligt tjenestested. Her må man konkludere at formålet er opfyldt, idet der er adgang til journalen fra alle tjenestesteder. Nedenstående citater illustrerer dette: Jeg synes at det er en utrolig lettelse, at folk der skal udsendes til international tjeneste og kommer fra en eller anden underlig kaserne og de skal ind og de Udarbejdet af OTLG Michael Skøien With Side 20 af 74