ARBEJDSDAG MED DOKUMENTATION OG EVALUERING v/ Karen Eriksen & Mikala Poulsen fra Center for Forebyggelse i praksis, KL
DOKUMENTATION OG EVALUERING v/ Mikala Poulsen, konsulent, Center for Forebyggelse i praksis, KL
Dokumentation og evaluering Dokumentation Systematisk og regelmæssig registrering (måling) af oplysninger om aktiviteter og resultater Evaluering Systematisk, tilbageskuende vurdering af processer, resultater og effekter af politikker og indsatser, der tænkes at skulle spille en rolle i praktiske handlingssituationer (Vedung 1998, 20)
Evidens i forebyggelse At sikre anvendelse af den aktuelt bedste viden om hvilke metoder og indsatser, der virker på hvem, under hvilke omstændigheder og ved anvendelse af hvilke ressourcer Evidens i forebyggelsen kan handle om: årsager til og udbredelse af sygdom effekter af forebyggelsesindsatser den bedst mulige organisering og implementering af indsatser
Viden om effekt af forebyggelsesindsatser Forebyggelsespakker Anbefalinger til patientrettet forebyggelse (2016)
Stadig stigende brug af standarder og evidensbaserede indsatser i kommunerne Kliniske retningslinjer og plejeprocedurer indenfor sygeplejen og i genoptræningen Best-practice standarder og værktøjer, eks. Patientsikker Kommune og redskaber til tidlig opsporing af sygdomstilstande hos den ældre medicinske patient Forløbsprogrammer og anbefalinger til tilbud til kronisk syge Forebyggelsespakkernes anbefalinger Forskningsbaserede effektevalueringer af specifikke indsatser
Øget anvendelse af evidensbaserede indsatser Mindre behov for projektevalueringer og stigende behov for løbende dokumentation og analysekundskaber Stort behov for standardiserede data og ikke blot data til journalbrug, som det er tilfældet pt. og for nationale dataplatforme Analyser af standardiserede data i kommunen til styring og kvalitetssikring og på tværs af kommuner, eks. forskelle ift. det regionale sundhedsvæsen, forskelle i indsats eller kvalitet mellem kommuner, naturlige eksperimenter
Overførbarhed af evalueringsresultater Hverdagsrehabilitering med målrettet træning i eget hjem har vist gode resultater: borgerne blev selvhjulpne og fald i forbruget af kommunale ydelser Alle kommuner har nu indført hverdagsrehabilitering men lidt forskelligt ift.: Organisering, hyppighed, målfastsættelse, kompetenceudvikling mv. Indsatsen kvalificeres mange steder ved: Fokus på inddragelse, sundhedsfremme, samarbejde med foreninger, frivillige og aktivitetscentre mhp at skabe og udvikle netværk og relationer Vil indsatsen have effekt, når den tilpasses lokale forhold og mål?
Brug af dokumentation Kvalitetssikring (faglig udvikling) især dokumentation af aktiviteter (leverance/output) Hvad gør vi i praksis? Hvorfor gør du sådan? Hvilke borgere nås? Hvorfor får nogle borgere dette og andre andet? Tidsseriestudier med måling af resultater på samme måde over tid og sted Hvorfor får vi andre resultater nu end tidligere? Hvorfor får vi ikke samme resultater som de andre? Hvad er relevant at dokumentere i forhold til kvalitetssikring og viden om effekt af indsatsen?
Dog. Stadig også behov for evaluering af lokale, nye indsatser Der udvikles stadig nye indsatser og tilpasninger af eksisterende; eks. samarbejde mellem sundhed og beskæftigelse ift. kræftrehabilitering, sundhedsfremme i socialfaglige tilbud, sundhedsfremme på ungdomsuddannelser osv. Hvis mængden af indsatser stiger mindst lige så hurtigt som antallet af evidensbaserede indsatser, så stiger andelen af evidensbaserede indsatser ikke Peter Dahler-Larsen, KLs sundhedskonference 2013
Hvorfor evaluere? kontrol og læring For at vælge den mest effektive indsats (for pengene) For at forstå, hvordan indsatsen virker og påvirker (både borgere og dem, der leverer indsatsen) For at vide, hvordan indsatsen bedst gennemføres (kvalitetssikring, optimering) For at legitimere det vi gør; sikre indsatsen fremadrettet Fordi bevillingsgivere og også politikerne kræver det Og hvem er interesseret i hvilken viden? (Rossi, 2004)
En simpel model for evaluering Ramme/ kontekst Før Indsats Efter Tidslinje Model: Frit efter Øvretveit 1998 Evaluering af proces og effekt
Procesevaluering Hvad der sker i implementeringen af det nye? I hvilken udstrækning blev indsatsen givet og modtaget? Hvorvidt der var den tilstræbte kvalitet i indsatsen og den måde, hvorpå det blev givet Årsager til udeblivelse af forventet effekt hvad skete der? Andre betegnelser: Implementeringsevaluering, procesmonitorering, udviklingsevaluering
Effektevaluering Hvilken effekt har det nye /indsatsen? Blev borgerne sundere eller mindre syge? Blev borgernes eller pårørende inddragelse styrket? Oplevede medarbejderne større arbejdsglæde og værdi af samarbejdet?
Valg af evalueringsdesign ekstern eller intern - handler meget om nice to know og need to know.. Hvorfor vil vi evaluere, hvilken viden skal vi bruge, og hvem er interesseret i den nye viden? Og så er der de praktiske forhold: Tid Ressourcer Personale Hvor meget kan man kan bede deltagere om
Evalueringsmetoden afhænger af evalueringsspørgsmål Bliver borgerne sundere? Oplever borgerne forbedring eller tilfredshed? Blev indsatsen gennemført som planlagt? Deltog den tiltænkte målgruppe? Hvordan organiseres indsatsen bedst, og hvordan optimeres samarbejdet med andre aktører? Oplever medarbejderne, at redskabet er anvendeligt i praksis? Hvilke faktorer har betydning for, hvorvidt samme aktivitet kan gennemføres i andre kommuner? Og mange andre.
Evalueringsmetoden afhænger af evalueringsspørgsmål Bliver borgerne sundere? Oplever borgerne forbedring eller tilfredshed? Blev indsatsen gennemført som planlagt? Deltog den tiltænkte målgruppe? Hvordan organiseres indsatsen bedst, og hvordan optimeres samarbejdet med andre aktører? Oplever medarbejderne, at redskabet er anvendeligt i praksis? Hvilke faktorer har betydning for, hvorvidt samme aktivitet kan gennemføres i andre kommuner? Og mange andre.
Dokumentation og evaluering? Brug så vidt muligt vidensbaserede indsatser og dokumentér aktiviteter og resultater i den udstrækning, det giver mening ift. faglig udvikling, ledelsesinformation og tidsseriestudier om effekt Lav egen evaluering - så vidt muligt baseret på allerede indsamlet dokumentation - ved lokale udviklingsprojekter Når der efterspørges sikker viden om effekt af nye indsatser, bør kommuner gerne i samarbejde med andre kommuner samarbejde med eksterne evaluatorer (forskere) (Tines mening )
PROGRAMTEORI SOM RAMME FOR PLANLÆGNING v/ Karen Eriksen, konsulent, Center for Forebyggelse i praksis, KL
Programteori forklarer sammenhængen Indsats Forventet effekt
Rygeforebyggelse i folkeskolen Aktiviteter Hvordan/hvorfor? Virkning Undervisning om rygning Færre rygere
Rygeforebyggelse i folkeskolen Aktiviteter Hvordan/hvorfor? Virkning Øget viden Undervisning om rygning Øget handlekompetence Ændrede holdninger og normer Færre rygere
Hvad er en programteori? Indsatsen tilsigtede funktionsmåde/virkningsmekanisme Den mekanisme, der - så vidt man antager - forbinder aktiviteter i en indsats og med den ønskede virkning Implicitte eller eksplicitte antagelser om hvordan og hvorfor en indsats skal virke Kan anvendes som værktøj i planlægning og evaluering af projekter Se fx Peter Dahler-Larsen 2013 kap. 4 s. 115, Rossi et al. 2004 s. 93
Kært barn har mange navne. Programteori Indsatsteori Virkningsteori Forandringsteori Logisk model Effektkæde Outcome line Målhierarki Etc.
Kilder til systematisk udvikling af programteori Systematiske litteraturoversigter af determinanter for adfærd og interventioner Tidligere succesfulde interventioner Grå litteratur: gode cases Sundhedsadfærdsteori Egne kvantitative og kvalitative undersøgelser Planlægningsgruppe Viden om barrierer og fremmere for implementering
Formidling af programteori
Måltræ Kilde: side 15 i Guide til planlægning af kommunale forebyggelsesindsatser. Sundhedsstyrelsen, 2007.
Simpel logisk model Citeret fra: Patricia J. Rogers. Using Programme Theory to Evaluate Complicated and Complex Aspects of Interventions. Evaluation 2008 14: 29-48.
Fremstilling af programteori - et eksempel fra Center for Interventionsforskning Statens Institut for Folkesundhed, Syddansk Universitet
Formål med Boost-projektet At udvikle, implementere og evaluere en skole- og lokalsamfundsbaseret indsats, der skal øge børn og unges indtag af frugt og grønt Indsatsen skal desuden indvirke positivt på børnenes trivsel og koncentrationsevne Målgruppe: 7. klasse (13-årige) Risikogrupper: Drenge, børn fra lav socialgruppe
AKTIVITETER MÅL FORMÅL Gratis daglig levering af frugt og grønt Vejledning og klassekit til hyggeligt spisemiljø Forældrenyhedsbreve Adgang til varieret udbud af frugt og grønt i skolen Udskåret, synlig, tid til at spise Opmærksomhed, viden, smagspræferencer Adgang til frugt og grønt i hjemmet Indtag af frugt og grønt Adgang til frugt og grønt i fritiden Krølner R et al. 2012
AKTIVITETER MÅL FORMÅL Gratis daglig levering af frugt og grønt Vejledning og klassekit til hyggeligt spisemiljø Forældrenyhedsbreve Adgang til varieret udbud af frugt og grønt i skolen Udskåret, synlig, tid til at spise Opmærksomhed, viden, smagspræferencer Adgang til frugt og grønt i hjemmet Indtag af frugt og grønt Adgang til frugt og grønt i fritiden Krølner R et al. 2012
AKTIVITETER MÅL FORMÅL S k o l e Gratis daglig levering af frugt og grønt Vejledning og klassekit til hyggeligt spisemiljø Undervisningsmateriale og computer tailoring Adgang til varieret udbud af frugt og grønt i skolen Udskåret, synlig, tid til at spise Opmærksomhed, viden, smagspræferencer Indtag af frugt og grønt Hjem Forældrenyhedsbreve Adgang til frugt og grønt i hjemmet, forældres viden Lokalområde Faktaark til sports- og fritidsklubber Adgang til frugt og grønt i fritiden Krølner R et al. 2012
AKTIVITETER MÅL FORMÅL S k o l e Gratis daglig levering af frugt og grønt Vejledning og klassekit til hyggeligt spisemiljø Undervisningsmateriale og computer tailoring Adgang til varieret udbud af frugt og grønt i skolen Udskåret, synlig, tid til at spise Opmærksomhed, viden, smagspræferencer Effektevaluering Indtag af frugt og grønt Hjem Forældrenyhedsbreve Adgang til frugt og grønt i hjemmet, forældres viden Lokalområde Faktaark til sports- og fritidsklubber Adgang til frugt og grønt i fritiden Krølner R et al. 2012
AKTIVITETER MÅL FORMÅL S k o l e Gratis daglig levering af frugt og grønt Vejledning og klassekit til hyggeligt spisemiljø Undervisningsmateriale og computer tailoring Adgang til varieret udbud af frugt og grønt i skolen Udskåret, synlig, tid til at spise Opmærksomhed, viden, smagspræferencer Indtag af frugt og grønt Hjem Forældrenyhedsbreve Adgang til frugt og grønt i hjemmet, forældres viden Lokalområde Faktaark til sports- og fritidsklubber Adgang til frugt og grønt i fritiden Krølner R et al. 2012
Programteori som værktøj til dokumentation og evaluering En detektiv på jagt for at eftervise programteorien Hvilke tegn indikerer at det planlagte er foregået Nødvendige tegn for at programteorien kan virke, fx gerningsmanden har været på gerningsstedet Specifikke tegn på henviser meget sikkert på en særlig herkomst, fx DNA materiale eller fingeraftryk Kombinationer af nødvendige og specifikke tegn der sandsynliggører programteorien Peter Dahler-Larsen, kapitel 4 evaluering og evidens i bogen, Forebyggende sundhedsarbejde, 2016.
Eksempel på kvalitativ evaluering af programteori fra Boots projektet Indsats: Hyggeligt spisemiljø Udskæring Brun frugt FV indtag FV indtag Statens Institut for Folkesundhed, Syddansk Universitet
Sundhedsindsatser er komplekse Og programteorier kan nemt bliver uoverskuelige
En god programteori Viser projektets hovedide og virkningsmekanismer Sandsynliggører sammenhæng mellem aktivteter, projektmål og effekter Kræver mod til at satse på de elementer man mener er centrale Elementerne i teorien skal være klart og præcist formuleret Hvert element kan eftervises med nødvendige og/eller specifikke tegn Peter Dahler-Larsen, kapitel 4 evaluering og evidens i bogen, Forebyggende sundhedsarbejde, 2016.
Take home messages Programteori er en go idé! Planlægning, design, implementering, dokumentation og evaluering - ansøgning Fremstilling: Fra højre mod venstre formål, mål, aktiviteter Evaluering: Fra venstre mod højre aktiviteter, mål, formål/effekt
INDIKATORER, DATAKILDER OG SUCCESKRITERIER v/ Mikala Poulsen, konsulent, Center for Forebyggelse i praksis, KL
Indikatorer Indikatorer er målbare aktiviteter eller udfald (variable), som er udvalgt med et bestemt formål Formålet kan være at monitorere udvikling i aktiviteter eller tilstande (eks. antal gennemførte tilbud eller andel af borgere med kronisk sygdom) Eller formålet kan være at vurdere, dvs. evaluere, om en ny indsats er gennemført som planlagt og når de opstillede mål og formål Data kan komme fra egen dokumentation, kommunal ledelses- og styringsinformation, nationale registre mv.
(Relativt) Tydelige indikatorer i forebyggelsespakkerne Der udarbejdes lokale handleplaner for mad- og måltider i daginstitutioner med udgangspunkt i Fødevarestyrelsens anbefalinger Samtale om stoffer indarbejdes systematisk i sundhedstjenestens udskolingsundersøgelse
Mindre klare indikatorer Kommunens parker og byrum inddrages i en tværgående indsats for at fremme borgernes mentale sundhed, fx indretning, arkitektur, adgangsforhold, ren luft, støj, færdsel og aktivitetsmuligheder Der etableres samspil mellem alkoholbehandling, social forvaltning og familiebehandling med henblik på at sikre social støtte til familien som opfølgning på alkoholbehandlingen
Hvornår er en indikator god? Den skal være meningsfuld (have sammenhæng med det, man vil vide noget om) Den skal udsige noget validt om det, man vil vide noget om (og sensitiv ift. at vise forandringer) Den skal være målbar med tilgængelige data (og ikke for store omkostninger/ressourcer) Der kan også være etiske forhold at tage i betragtning
Eksempel på indikatorer og data på stofområdet National sundhed og ungeprofil De internationale skolebørnsundersøgelser (ESPA og HBSC) Anbefaler ikke at kommunen laver egne undersøgelser af unges vaner, da tallene vil ligge tæt op ad nationale tal. Men OK at lave undersøgelser i specifikke arenaer fx ungdomsuddannelser eller boligområder Politiets kriminalstatistik om besiddelse af ulovlige stoffer Andel af ungdomsuddannelser og bevillingssteder der samarbejder med kommunen Andel af frontpersonale der kender til handlevejledninger Antal korte rådgivende samtaler Antal forældre der deltager i rådgivningstilbud
Eksisterende datakilder Hvad registreres allerede på området? Er registreringerne systematiske? Relevant i forhold til interne kommunale analyser Er data indberettet nationalt? Er data tilgængelige for kommunen til analyseformål? Relevant i forhold til analyser med bredere/ tværkommunalt sigte
Tilgængelige datakilder i kommunerne Registreres systematisk + Opsamles nationalt Hjemmeplejen Hjemmesygeplejen Plejehjemsbeboere Tandpleje (børne og ungdoms-) Sundhedspleje Genoptræning Fysioterapi Misbrugsbehandling Alkoholbehandling Utilsigtede hændelser MedCom LUP www.danskernessundhed.dk www.esundhed.dk www.statistikbanken.dk Danmarks børn Børnedatabasen Trivselsmåling i folkeskoler Kvalitetsrapport på skoler Skolesundhed.dk Ungeprofil undersøgelse SSP Undervisningsmiljøvurdering Uddannelsesbarometer (regionerne) MOEVA patientuddannelse Rygestopdatabasen KÅS boligsociale nøgletal GLA:D databasen Utilsigtede hændelser KØS / esundhed + omsorgsdata Politiet (ulykker med alkohol) Ulykkesanalyser (Region Syd) DREAM arbejdsmarkedsområde GIS-kort + Sundhedsprofil (geografisk) Geomatik Transportvaner Trafiktælling
SMART(e) mål fra indikator til succeskriterie S M A R T Specifikke mål Målbare mål Accepterede mål Realistiske (men ambitiøse) mål Tidsbaserede mål
Et eksempel på målsætning Borgeren skal kunne klare sig selv i dagligdagen
Mere specifikt Borgeren skal selv kunne klare sine indkøb
Mere målbart Borgeren skal selv kunne gå ned ad trapperne fra 1. sal og tage bussen til supermarkedet for at klare alle sine indkøb
Mere accepteret og realistisk Borgeren skal selv kunne gå ned ad trapperne fra 1. sal og gå 200 m til købmanden for at klare sine daglige indkøb
Mere tidsbestemt Borgeren skal efter endt forløb selv kunne gå ned ad trapperne fra 1. sal og gå 200 m til købmanden for at klare sine daglige indkøb.
Kilde: Guide til planlægning af kommunale forebyggelsesindsatser. Sundhedsstyrelsen, 2007
DESIGN AF INDSATSER TIL DOKUMENTATION OG EVALUERING v/ Karen Eriksen, konsulent, Center for Forebyggelse i praksis, KL
Inspiration fra Lolland Kommune Pilotprojekt har vist at motion i arbejdstiden nedbringer sygefravær og øger trivslen Folketidende 3. maj 2016
Inspiration fra Lolland kommune Valgt af måle på: En proces Deltagelse og tilfredshed Arbejdsglæde, trivsel og motivation Viden og læring Effektivitet og adfærd Strategi Sygefravær En løbende dialog med teamledere Forholdt sig til hvilke eksisterende strukturer, der kan understøtte dataindsamling Været realistiske i ambitioner Afstemt forventninger med projektejere
Metode Interval Informanter Rapportering Formidling Undersøgelses navn Deltagelse og tilfredshed Online (kvantitativ) Hver 7. uge til AMO møder Motionsvejledere samt teamledere Kvartalsvis rapport På arbejdsmiljøsiden Sendes til Team Ledelse Ved fælles AMR møder Deltagelse og Tilfredshed Arbejdsglæde, trivsel og motivation Online (kvantitativ) Ved start og én gang årligt Alle medarbejdere Årlig rapport På arbejdsmiljøsiden Sendes til Team Ledelse Ved fælles AMR møder Strategisk sundhed i Ældre & Sundhed Viden og læring Online (kvantitativ) samt kvalitative tilbagemeldinger Løbende ved samtlige AMO møder, samt ved motionsvejleder netværksmøder Teamledere, arbejdsmiljørepræsentanter, motionsvejledere Kvartalsvis rapport fordelt på team På AMR møder ifølge årshjul Løbende på teammøder og SLU møder Videreudvikling af strategisk sundhedsledelse Effektivitet og adfærd Online (kvantitativ) Ved start og én gang årligt Alle medarbejdere Årlig rapport På arbejdsmiljøsiden Sendes til Team Ledelse Ved fælles AMR møder Strategisk sundhed i Ældre & Sundhed Strategi Online (kvantitativ) Én gang årligt Teamledere samt arbejdsmiljørepræsentanter (i fællesskab) Årlig rapport På arbejdsmiljøsiden Til fælles AMR/TR møde Indeks for sundhedsfremme Sygefravær Via intranettet Månedsvis HR Kvartalsvis rapport fordelt på team På arbejdsmiljøsiden Sendes til Team Ledelse Fraværsstatistik
Dagens cases spørgsmål til design af evaluering Hvem har interesse i evalueringen og hvad skal den anvendes til? Hvad er det for et spørgsmål som evalueringen skal besvare? Hvilket design kan besvare evalueringsspørgsmålet? Hvad er realistisk at gennemfører udfra de ressourcer, der er til rådighed?
Dagens cases spørgsmål til design af dokumentation En detektiv på jagt efter nødvendige og specifikke tegn, der sandsynliggører programteorien Findes, der allerede datakilder i kommunen, der kan anvendes? Hvilke eksisterende strukturere findes allerede, der kan understøtte indsamling af oplysninger? Hvor er der behov for data og hvor er der OK at fornemme og vise interesse? OBS data leveret af frontpersonale giver mening i hverdagen, når data kan anvendes direkte i arbejde med borgerne og er realistisk at gemmenfører i en travl hverdag
Plan for dokumentation og evaluering Hvad skal måles? Metode Interval Informanter Datakilde Formidling