Evaluering og implementering Specialuddannelsen for psykiatrisk sygepleje Jesper Buchholdt Gjørup Viborg, den 5. april 2018
1. budskab Data og feedback-processer er vigtige i evaluering og implementering
Hvilke læringsaktiviteter foretrækker du i undervisningen om evaluering og implementering? Marie Dorthe Helledie En vekslen i undervisningen, bidrager til at holde fokus og dejligt hvis det er praksisnært, så egen praksis er i spil.
2. budskab Evaluering og implementering handler om læreprocesser Det vi er sammen om kan bruges som konkrete eksempler i undervisningen (meta-kommunikation) Måden vi er sammen på i dag giver mulighed for her-og-nulæring Tre foki: indhold (hvad), proces og form (hvordan)
Pædagogisk intension Veksle mellem forskellige læringsaktiviteter; Tilgodese forskellige deltageres foretrukne læringsstile Foredrag: Se og høre om begreber, modeller og eksempler Dialog - i plenum og i mindre grupper Praktiske øvelser: Gøre. Prøve. Her-og-nu læring: action-reflection Komme rundt i læringscirklen: (David Kolb)
3. budskab Evaluering og implementering er processer Processer har en tidsmæssig dimension. Derfor er forløbsperspektivet relevant Har du en plan for hvad der skal ske? Er du parat til at fravige din plan?
Dagens (foreløbige) program 1.Introduktion v/ Yasmine og Jesper kort pause 2.Foredrag om evaluering 3.Praktisk eksempel v/ Marie 4.Praktisk øvelse: Interview om evalueringspraksis 5.Dialog i plenum 6.Observationer og formativ evaluering FROKOST 1.Praktisk eksempel på implementering v/ Dorthe 2.Gruppearbejde/øvelse om implementering 3.Dialog i plenum kort pause 4.Foredrag om implementering 5.Afrunding
4. budskab Evaluering- og implementeringsprocesser har et formål Det er vigtigt at kunne begrunde at forklare hvorfor Processer i organisationer (sociale/kulturelle systemer) skal give mening for deltagerne
Formålet med undervisningen at bidrage til at implementere uddannelsesordningen for specialuddannelsen ved at deltagerne får teoretisk og praktisk anvendelig viden om - og dermed inspiration og anledning til at påtage sig... en reflekteret og aktiv rolle i evalueringer og implementeringsopgaver på deres arbejdsplads, som kan... medvirke til løbende forbedringer/kvalitetsudvikling i psykiatrien.
5. budskab En måde at fokusere læreprocesser, kvalitetsudvikling, forbedringsarbejde evalueringer og implementeringer er at formulere konkrete mål Hvad vil vi gerne opnå?
Mål for undervisningen 1.At den enkelte deltager når sit personlige læringsmål 2.At I får/finder svar på dit/dine spørgsmål om evaluering og implementering 3.At du kan se din organisatoriske opgave som psykiatrisygeplejerske klarere 4.At alle får/vælger mindst en konkret idé til, hvordan de (også) kan bidrage til kvalitetsudvikling på deres arbejdsplads 5.At opleve, at du lærer noget relevant om evaluering og implementering
Hvad vil I gerne opnå? Jeg vil gerne opnå en kompetence inden for at det skulle evaluere kliniske praksis, fx effekten af forhåndstilkendegivelser. Hvordan jeg vurderer hvilken evalueringsmodel(?) der er den bedste til formålet osv. Generelt blive klogere på evaluering og implementering i praksis - og forsøge at blive klogere på/reflektere over, hvordan dette anvendes og kan anvendes i den afdeling jeg arbejder. Hvordan kan jeg bidrage og hvordan jeg kan arbejde videre med det, ved at afprøve i praksis, de næste 6 uger... Blive mere skarp på evaluering og hvordan man fastholder kollegaernes motivation i selve implementeringsarbejdet med behandlingsplaner. Selvstændigt at kunne planlægge et implementeringsforløb. Hvordan sikrer vi at et nyt tiltag er implementeret? Jeg ønsker, at opnå større viden og kompetencer jeg kan anvende, når jeg efter uddannelsen skal tilbage på mit afsnit og deltage i forbedringsarbejdet. Jeg kunne godt tænke mig svar på hvordan man skaber motivation hos en personalegruppe, der netop efter et endt projekt, har mistet lysten til udvikling, således at nye ting kan implementeres. Jeg er nysgerrig på metoder til evaluering Hvordan fastholder jeg implementeringen i praksis Jeg vil gerne have et større kendskab til implementeringsprocesserne og hvilke redskaber vi kan anvende, således forandringen der iværksættes forbliver forankret i klinisk praksis Hvordan holder man fast i det som implementeres, ofte er der en tendens til at man falder tilbage i gamle vaner/rutiner?? At blive bedre til evaluering og implementering: Jeg vil gerne have flere redskaber til modstand mod implementering og/eller hvordan man holder "gejsten" oppe hos kolleger mens implementering og forbedringsarbejdet står på. Blive mere klog på implementering /evaluering af egen kvalitets arbejde og det fremtidige arbejde med dette problemområde Jeg vil gerne vide mere omkring hvilke tiltag, der kan føre til at mine kolleger får større viden og mere handlekompetence ift. at arbejde med GEB i afd.en, og hvordan man så fastholder denne arbejdsgang sådan at vi får en fremadrettet sygepleje i afsnittet. Kan, med patienten som omdrejningspunkt, selvstændigt igangsætte og medvirke til at gennemføre udvikling af den kliniske psykiatriske sygepleje Jeg vil gerne vide noget om evaluerings og implementeringsteori. Jeg ved ikke så meget om det.
6. budskab Indsamlede data skal som regel kondenseres, analyseres, fortolkes og formidles for at kunne bruges Det gælder både i kvalitetsudvikling, forbedringsarbejde, evalueringer og implementeringsarbejde
Hvad vil I gerne opnå? Kan, med patienten som omdrejningspunkt, selvstændigt igangsætte og medvirke til at gennemføre udvikling af den kliniske psykiatriske sygepleje Vide noget om evaluerings og implementeringsteori. Jeg ved ikke så meget om det. Blive klogere på evaluering og implementering i praksis Blive bedre til evaluering og implementering Hvordan evaluering og implementering anvendes og kan anvendes i den afdeling jeg arbejder. Hvordan kan jeg bidrage og hvordan jeg kan arbejde videre med det, ved at afprøve i praksis, de næste 6 uger... MÅL VEDR EVALUERING Blive mere skarp på evaluering Metoder til evaluering Evaluere kliniske praksis, fx effekten af forhåndstilkendegivelser. Hvordan jeg vurderer hvilken evalueringsmodel(?) der er den bedste til formålet osv. Evaluering af egen kvalitets arbejde og det fremtidige arbejde med dette problemområde MÅL VEDR IMPLEMENTERING Blive mere klog på implementering Større kendskab til implementeringsprocesserne Hvordan holder man fast i det som implementeres, ofte er der en tendens til at man falder tilbage i gamle vaner/rutiner?? Flere redskaber til modstand mod implementering og/eller hvordan man holder "gejsten" oppe hos kolleger mens implementering og forbedringsarbejdet står på. Vide mere omkring hvilke tiltag, der kan føre til at mine kolleger får større viden og mere handlekompetence ift. at arbejde med GEB i afd.en, og hvordan man så fastholder denne arbejdsgang sådan at vi får en fremadrettet sygepleje i afsnittet. Hvordan man fastholder kollegaernes motivation i selve implementeringsarbejdet med behandlingsplaner. Selvstændigt at kunne planlægge et implementeringsforløb. Hvordan sikrer vi at et nyt tiltag er implementeret? Større viden og kompetencer jeg kan anvende, når jeg efter uddannelsen skal tilbage på mit afsnit og deltage i forbedringsarbejdet. Hvordan skaber man motivation hos en personalegruppe, der netop efter et endt projekt, har mistet lysten til udvikling, således at nye ting kan implementeres. Hvordan fastholder jeg implementeringen i praksis Hvilke redskaber vi kan anvende, således forandringen der iværksættes forbliver forankret i klinisk praksis
Hvad vil I gerne opnå? Kan, med patienten som omdrejningspunkt, selvstændigt igangsætte og medvirke til at gennemføre udvikling af den kliniske psykiatriske sygepleje Vide noget om evaluerings og implementeringsteori. Jeg ved ikke så meget om det. Blive klogere på evaluering og implementering i praksis Blive bedre til evaluering og implementering Hvordan evaluering og implementering anvendes og kan anvendes i den afdeling jeg arbejder. Hvordan kan jeg bidrage og hvordan jeg kan arbejde videre med det, ved at afprøve i praksis, de næste 6 uger...
Hvad vil I gerne opnå? MÅL VEDR EVALUERING Blive mere skarp på evaluering Metoder til evaluering Evaluere kliniske praksis, fx effekten af forhåndstilkendegivelser. Hvordan jeg vurderer hvilken evalueringsmodel(?) der er den bedste til formålet osv. Evaluering af egen kvalitets arbejde og det fremtidige arbejde med dette problemområde
Hvad vil I gerne opnå? MÅL VEDR IMPLEMENTERING Blive mere klog på implementering Større kendskab til implementeringsprocesserne Hvordan holder man fast i det som implementeres, ofte er der en tendens til at man falder tilbage i gamle vaner/rutiner?? Flere redskaber til modstand mod implementering og/eller hvordan man holder "gejsten" oppe hos kolleger mens implementering og forbedringsarbejdet står på. Vide mere omkring hvilke tiltag, der kan føre til at mine kolleger får større viden og mere handlekompetence ift. at arbejde med GEB i afd.en, og hvordan man så fastholder denne arbejdsgang sådan at vi får en fremadrettet sygepleje i afsnittet. Hvordan man fastholder kollegaernes motivation i selve implementeringsarbejdet med behandlingsplaner. Selvstændigt at kunne planlægge et implementeringsforløb. Hvordan sikrer vi at et nyt tiltag er implementeret? Større viden og kompetencer jeg kan anvende, når jeg efter uddannelsen skal tilbage på mit afsnit og deltage i forbedringsarbejdet. Hvordan skaber man motivation hos en personalegruppe, der netop efter et endt projekt, har mistet lysten til udvikling, således at nye ting kan implementeres. Hvordan fastholder jeg implementeringen i praksis Hvilke redskaber vi kan anvende, således forandringen der iværksættes forbliver forankret i klinisk praksis
Hvad vil I gerne opnå? MÅL for undervisning i IMPLEMENTERING (genfinde) lysten til udvikling deltage i forbedringsarbejdet. motivation i selve implementeringsarbejdet holde "gejsten" oppe hos kolleger modstand mod implementering planlægge et implementeringsforløb. implementeringsprocesser få større viden og mere handlekompetence ift. at arbejde med GEB sikre at et nyt tiltag er implementeret forandringen forbliver forankret i klinisk praksis fastholde det som implementeres vs falde tilbage i gamle vaner/rutiner
Hvad vil I gerne opnå? Kan, med patienten som omdrejningspunkt, selvstændigt igangsætte og medvirke til at gennemføre udvikling af den kliniske psykiatriske sygepleje Noget jeg kan anvende, når jeg efter uddannelsen skal tilbage på mit afsnit og deltage i forbedringsarbejdet. evaluerings og implementeringsteori evaluering og implementering i praksis anvendes og kan anvendes i den afdeling jeg arbejder. Hvordan kan jeg bidrage og hvordan jeg kan arbejde videre med det, ved at afprøve i praksis, de næste 6 uger... MÅL VEDR EVALUERING Blive mere skarp - Metoder kliniske praksis, fx effekten af forhåndstilkendegivelser. hvilken evalueringsmodel. Eget KVALITETSARBEJDE MÅL VEDR IMPLEMENTERING Selvstændigt at kunne planlægge et implementeringsforløb. implementeringsprocesserne holde fast modstand "gejsten" lyst Viden handlekompetence fremadrettet sygepleje i afsnittet. motivation forandringen forbliver forankret i klinisk praksis
7. budskab Evalueringer og implementeringsprocesser kan med fordel bygge på en eksplicit forandringsteori Kausal-sammenhæng: Hvad skal hvem gøre for at opnå den ønskede effekt
Mål og midler Hvorfor? Vigtige faktorer Praktisk erfaring Kompetenceudvikling Hvordan? Oplevelser Refleksion Dialog Eksempler Teoretisk viden: Begreber, modeller, teori Foredrag Wikier Litteratur Færdigheder Træning/øvelser Interviews PDSA-test Reflekteret obs
Hvad skal evalueres? Det, der - måske - skal forbedres: Klinisk praksis nuværende og ny Implementeringsprocesser Forbedringsarbejde Motivation/lyst/gejst/modstand Viden Handlekompetence
9. budskab Vellykkede processer kræver ofte forberedelse og opfølgning Møder er en del af organisatoriske processer Hvad er formålet med mødet? Hvad kan (med fordel) afklares og forberedes inden mødet? Hvad skal der ske efter mødet?
Din forberedelse 1. Orientere dig om emnerne evaluering og implementering her: http://implementerings.pbworks.com/ http://evaluerings.pbworks.com/ 2. Udfylde et elektronisk spørgeskema: Reflektere over din viden, dine erfaringer og mål for dagen
Wikier
Budskab 11 Dataindsamling er også en proces Datakomplethed er ofte en udfordring Svarprocent er en ofte anvendt indikator i spørgeskemaundersøgelser Tidspunkt for og varighed af dataindsamling er ofte en kritisk beslutning
Data
Budskab 12 Kvantitative data kan præsenteres grafisk og/eller i tabeller
Viden om evaluering Har ikke tidligere arbejdet med evaluering
Hvilke evalueringer har du været involveret i på din arbejdsplads i 2017? ventelister Kvalitetsudvikling og audit N6 i Brønderslev har deltaget i projekt bæltefrit afsnit og i den forbindelse, har jeg deltaget i møder hvor der er lavet evaluering. Audit på individuelle handleplaner, kompetenceudvikling og UTH. Evaluering af sygeplejestuderende og en lille smule omkring sikker psykiatri. Sikker Psykiatri Evaluering af morgenmøde Evaluering af implementeringen af den kliniske kvalitetsdatabase - den danske depressionsdatabase Ingen x 3 (12 har ikke svaret på spørgsmålet)
Budskab 12 Kvalitative data kan præsenteres i punktform, som citater og/eller som en længere tekst med helsætnnger
Et evalueringsresultat...
Evalueringer i psykiatrien Egne/interne evalueringer Eksterne evalueringer af satspuljeprojekter Læring mhp kvalitetsudvikling Dokumentere indsats, erfaringer og resultater mhp spredning Legitimere / profilere overfor omverdenen Rituelle refleksioner?
Evalueringsbegreber Målopfyldelsesevaluering Formativ vs Summativ evaluering Proces- vs resultatevaluering Effektevaluering RCT-studier, og metastudier Propensity score matching Multisite evaluation Virkningsevaluering Implementeringsevaluering
Formativ evaluering
Summativ evaluering
Virkningsevaluering Evalueringen undersøger belægget for en programteori eller indsatsteori, dvs sammenhængen mellem indsats og resultat og svarer dermed på spørgsmålet Hvad virker for hvem under hvilke betingelser? Et pragmatisk alternativ til en klassisk effektevaluering (RCT-studiet: forsøg med lodtrækning, interventionsgruppe og kontrolgruppe) Realistic Evaluation. Theory-based evaluation
Kilde: Gjørup mfl 2015: Midtvejsevaluering af forsøg med bæltefri afdelinger, DEFACTUM
Evalueringsspørgsmål (eksempler) Hvad er/var formålet med indsatsen? Er formålet opfyldt? Hvad er/var resultatmålene? Hvilke resultater er opnået? Hvad oplever brugerne? Hvad er/var det konkrete indhold af indsatsen? Hvilken ny praksis er implementeret? Er indsatsen omkostningseffektiv?
Et praktiske eksempel Marie
Interview din kollega Formålet med interviewet er at indsamle data, der kan bidrage til en evaluering af den hidtidige evalueringspraksis på udvalgte jyske psykiatriske arbejdspladser. Begynd gerne med åbne hv-spørgsmål, fx 1.Hvad er blevet evalueret? 2.Hvornår blev det evalueret? 3.Hvordan blev det evalueret? (modeller, metoder, data) 4.Hvem evaluerede? (personalets rolle i evalueringen?) 5.Hvorfor blev der evalueret? 6.Hvad er evalueringen blevet brugt til? 7.Hvordan har evalueringen bidraget til kvalitetsudvikling? 8.Hvad kan andre psykiatriske afsnit lære af jeres erfaringerne? 9.Hvilke udfordringer/problemer har I oplevet? 10.Hvordan kan I forbedre jeres evalueringspraksis?
Nåede I jeres mål vedr. evaluering? Malene Andrea Rude: Jeg vil gerne opnå en kompetence inden for at det skulle evaluere kliniske praksis, fx effekten af forhåndstilkendegivelser. Hvordan jeg vurderer hvilken evalueringsmodel(?), der er den bedste til formålet osv. Marie: Blive mere skarp på evaluering Julie: Jeg ønsker, at opnå større viden og kompetencer jeg kan anvende, når jeg efter uddannelsen skal tilbage på mit afsnit og deltage i forbedringsarbejdet. Dorthe Helledie: Jeg er nysgerrig på metoder til evaluering Tine: At blive bedre til evaluering Karen: Læringsmålet: Kan, med patienten som omdrejningspunkt, selvstændigt igangsætte og medvirke til at gennemføre udvikling af den kliniske psykiatriske sygepleje
Plenum: Formativ evaluering Data / Observationer Anbefalinger Evaluators fortolkning og vurdering
Formativ evaluering Fungerer formen? Hvad skal justeres i eftermiddag for at opnå mest muligt udbytte? Hvad skal fastholdes?
Frokost
Wiki om implementering
Viden om implementering
Hvad skal implementeres på din arbejdsplads i 2018? Safewards (x 3) Behandlingsplaner sm. m. patienterne (x3) Guidet egenbeslutning (x 3) Safewards, guidet egen beslutning og sikkert os en masse andet ;) Medicindagbog Fælles mål på tværfaglige behandlingsmøder Holistisk assessment. Behandlingsplanen udarbejdes med patienterne. Morgengymnastik. Bedre overgange. Færre afbud. Sikkerhedsplaner laves ved øget selvmordsrisiko. Fortsætte Safewards Metoden Guided Egen Beslutning mere patientinddragelse Mestringsskemaer Øget patient inddragelse. Arbejde med udarbejdelse af beh. planer sammen med pt. vi har igennem 2 år arbejdet med at implementere GEB i afsnittet uden det store held. Daglige tavlemøder - Ugentligt forbedrings tavlemøder - Sygeplejersker skal begynde at deltage i udarbejdelse af behandlingsplan Nye arbejdsopgaver qua etablering af et helt nyt sengeafsnit.
Hvad skal implementeres? Ny og bedre klinisk praksis (afprøvet i udviklingsprojekt/pdsa-ramper) Nye processer (arbejdsgange) ORGANISATIONSÆNDRINGER: Nye systemer Ny kultur (principper, værdier, antagelser, theory in use) ÆNDRINGER PÅ INDIVID- OG GRUPPENIVEAU Nye holdninger / normer Ny viden (teori, mentale modeller) Nye handlekompetencer Nye vaner / ny adfærd
Øvelse: Implementeringsplan Hvad skal implementeres? Hvorfor skal det implementeres? Hvornår skal det være implementeret
Implementeringsbegreber Implementering af politiske beslutninger (fx Søren Winter) Den parlamentariske styringskæde Den integrerede implementeringsmodel Beslutningsprocessen Kausal-teori Street Level Bureaucracy Målgruppen Legitimitet Implementering af kvalitetsudvikling (IHI, Langley et l, NHS, Lynne Maher) Testing Improvement Holding the gain Sustainability Implementering af forskning (fx Dean Fixsen) Evidens The Knowing-Doing Gap Knowledge translation Evidensbaserede kliniske retningslinjer Fidelitet Diffusion of innovation (Everett Rogers) Opinion leader Change agent Source Adoption
Et politologisk blik på implementering
SWs integrerede impl.model
Sundhedsstyrelsens NKRimplementeringsmodel
IHI om Implementering
Adoption foregår gradvist
11 års implementeringsproces
Hovedbudskaber 1. Evalueringer er undersøgelser som forudsætter data 2. Evalueringer kan bidrage til kvalitetsudvikling Lær af andres erfaringer: Læs evalueringsrapporter - kritisk Studer jeres egen praksis i PDSA-cirkler Evaluer både implementering og resultater 3. Implementering er processer, som handler om at ændre menneskelig adfærd og (organisatorisk/klinisk) praksis og at gøre den nye praksis til en del af dagligdagen 4. Processer foregår i systemer Implementer (kun) ny proces, som forbedrer jeres praksis Involver interessenter. Hvad kan bidrage? Hvem bør deltage? Afprøv, evaluer og tilpas inden implementering Design et system. Etabler/juster støttesystemer Husk Rogers teori om adoption i sociale systemer
Du kan kontakte mig Du er velkommen til at kontakte mig, hvis du har spørgsmål til evaluering og implementering. du har eftertanker og opfølgende feedback på undervisningen du har forbedringsforslag til wikierne (fx gode eksempler fra din arbejdsplads) Du kan læse mere om forbedringsarbejde her: metodekatalog.defactum.dk Tjek også gerne min wiki om psykiatri (http://psykiatri.pbworks.com) og kvalitetsarbejde i sundhedsvæsenet ( http://solq.pbworks.com- målrettet læger), lean (http://lean.works.com) og min nyeste wiki om socialt arbejde (http://socialtarbejde.pbworks.com Venlig hilsen Jesper mail: Jesper.gjoerup@gmail.com telefon: 2568 8660