Mere om at skabe evidens Dokumentation, procesevaluering og implementeringsforskning Tine Curtis, centerchef TrygFondens Forebyggelsescenter Syddansk Universitet
Hvad har kommunen brug for, for at kunne løse de kommunale sundhedsopgaver? Viden om sundhedsproblemernes omfang og fordeling i forskellige grupper af befolkningen Viden om hvilke rammer og tilbud, der kan forbedre sundheden blandt forskellige grupper af borgere og viden om, hvordan indsatser bedst føres ud i livet Viden og kompetencer til planlægning, implementering og dokumentation af tilbud og indsatser
En simpel model for evaluering Evaluering er systematisk vurdering af rammer, organisering, gennemførelse og effekter af politikker eller indsatser Ramme/ kontekst Før Indsats Efter Tidslinje Model: Frit efter Øvretveit 1998
Eksempler på evalueringsspørgsmål Hvordan virker det, for hvem og under hvilke betingelser? Blev indsatsen gennemført som planlagt? Eks. blev tilbuddet oprettet, gennemført og benyttet. Hvorfor ikke? Hvordan organiseres indsatsen bedst, og hvordan optimeres samarbejde med andre aktører? Oplever frontpersonalet, at indsatsen er hensigtsmæssig og anvendelig i praksis? Når indsatsen en større del af målgruppen end tidligere indsatser? Hvilke faktorer har betydning for, hvorvidt indsatsen kan gennemføres i andre kommuner? Og mange andre.
Det randomiserede forsøg Indsats Inviterede Accept af deltagelse Lodtrækning Interventionsgruppe Ingen indsats Kontrolgruppe Før måling Efter måling Tidslinie Model: Meget (!) frit efter Øvretveit 1998
Randomiserede studier Forudsætter (blandt andet): Målbar forventet effekt Afgrænset indsats, der gennemføres ensartet i perioden Et tilstrækkeligt antal sammenlignelige enheder til lodtrækning Ingen afsmitning mellem indsats- og kontrolgruppe
Teknisk skole projektet Foto: Betina Bang Sørensen
Formål og indsats Formål: At udvikle, afprøve og evaluere indsatser, der reducerer frafald og forebygger misbrug af alkohol, tobak og stoffer blandt unge på tekniske skoler. Indsatsen rettes mod tre niveauer: 1. Skolernes organisering af undervisnings- og praktikforløb 2. Styrkelse af de unges muligheder for at udvikle gode sociale fællesskaber på skolen 3. Styrkelse af samarbejdet mellem tekniske skoler og kommuner mhp. tidlig opsporing og behandling af misbrug, dårlig trivsel, mv.
Projektfaser Udviklingsfase: 2009 2011 Formål: At udvikle viden om sammenhænge mellem skoleforhold, elevers udvikling af fællesskab, brug og misbrug af rusmidler, frafald, samt problemer med dårlig trivsel, isolation mv. At udvikle et katalog for indsatser, planlægge og forberede indsatsen Materiale og metode: Interviews med 22 unge (forstudie til feltarbejde) Feltarbejde med observation og interviews på 4 tekniske skoler Analyse mhp. udvikling af indsats Indsatsfase: 2011 2012 Indsatsen gennemføres på 4 tekniske skoler Skolerne tilmelder sig først, når indsatsen er beskrevet Analyse og formidling: 2012 2013
Feltarbejdet i efteråret 2010 Formål: at få viden om den arena, indsatsen skal virke i 4 tekniske skoler (tre-fire uddannelser på hver skole) 40 dages observationer, inklusive kvalitative interviews Institutionelt niveau (skoleledelse, lærere og vejledere): Faglig og social praksis, herunder krav, forventninger, regler, politikker, sanktioner, rutiner, rammer og rum. Misbrug, fravær og frafald. Henvisningsmuligheder til rådgivning og behandling Unge på fællesskabsniveau: Faglige og sociale fællesskaber. Steder man er sammen ting man er sammen om. Selvforståelse på forskellige erhvervsretninger og skoler. Brug af rusmidler som led i udvikling af fællesskaber Unge på individniveau: Faglig eller social marginalisering. Problematisk rusmiddelbrug. Trivsel og helbred. Overvejelser over uddannelsesskift og frafald.
Evalueringsdesign I Indsatsen foregår på hold-, skole- og kommuneniveau Skolerne er meget forskellige; ikke tilstrækkelig mange sammenlignelige til randomisering Indsatsen omhandler skolers organisering af skoleliv og pædagogisk praksis - dvs. en omfattende indsats; derfor ikke muligt at implementere på mange skoler samtidigt Der kan ikke med denne indsatstype med sikkerhed forventes målbare forskelle i rusmiddelbrug på individniveau; men forventelige forskelle i oplevelse af skolestart, trivsel, opfattelse af rusmiddelbrug i skoletid etc.
Evalueringsdesign II Der gennemføres et kontrolleret studie med indsats blandt ca. 1500 elever på 4 skoler, og der sammenlignes med elever fra 4-6 matchede kontrolskoler Brug af forskellige datakilder og metoder til at sandsynliggøre effekt: Før efter studier af skolernes organisering og de unges fællesskaber (ved etnografisk metode og interviews) Før efter studier af elevernes vaner og trivsel (ved spørgeskema-undersøgelser). Desuden brug af historiske kontroller Registeranalyser: Forskelle mellem tekniske skoler mht. frafald over tid
Projekt Systematisk indsats over for alkoholstorforbrug
Projektet Implementering af et evidensbaseret redskab til tidlig opsporing af og intervention over for alkoholstorforbrug blandt borgere, der kommer i sundhedscentre Udvikling af værktøjer til screening og motiverende samtale Kompetenceudvikling hos medarbejdere Afprøvning i en længere periode Vi ved noget virker, men hvordan kan det implementeres i praksis? Dvs. indgå naturligt i det daglige arbejde hos medarbejdere med anden primær opgave
Datamateriale Møder på sundhedscentre om konkret implementering Kontakt pr. e-mail og telefon To besøgsrunder med interviews Interviews Medarbejdere (generelt og efter samtaler) Borgere (efter samtale) Sundhedscenterchefer Kommunale beslutningstagere Observationer Borger/medarbejder-konfrontationer Møder (møde om systematik + relevante personalemøder)
Implementeringsstudiet Undersøge anvendelighed af metode til at italesætte emnet alkohol blandt ikke-læger og overfor borgere, der ikke har henvendt sig med dette for øje Belyse væsentlige elementer af betydning for implementeringen af den systematiske indsats i praksis; muligheder for forankring og overførbarhed til andre kommuner og evt. andre arenaer Altså hvordan kommer man fra forskning til praksis
At skabe evidens i forebyggelsen handler om at skabe viden om, hvilke indsatser der virker, for hvem og under hvilke betingelser og viden om, hvordan indsatserne bedst føres ud i livet Sundhedsstyrelsens evidensbegreb - Og formålsbeskrivelse for TrygFondens Forebyggelsescenter
Randomiserede studier i praksis Kommunale sundhedsindsatser giver ofte mest mening (og størst forventet effekt), hvis der er flere samtidige indsatselementer Den forventede effekt kan være svær at måle; f.eks. fordi dosis er for lille til at kunne give målbar effekt på enkeltindividers adfærd Der er ofte få enheder til randomisering eller for få sammenlignelige enheder til matchning Afsmitning mellem indsats- og kontrolgruppe Kommunerne ønsker ikke randomisering af etiske årsager; skoler mv. ønsker ikke at udsætte sig for besvær med dataindsamling, hvis de risikerer at blive kontrol Menneskers handlen kan ikke let kontrolleres Man lærer undervejs i perioden og vil gerne ændre indsatsen løbende Virkeligheden står ikke stille; andre samtidige indsatser, ændring i lovgivning etc.
Proces- og effektevaluering Nødvendigt at undersøge, hvad der sker i implementeringen af projektet - ofte også for at kunne vurdere effekt: I hvilken udstrækning elementerne i indsatsen blev givet og modtaget Hvorvidt der var den tilstræbte kvalitet i indholdet, der blev givet, og den måde hvorpå det blev givet på I hvilken udstrækning det, der faktisk skete, stemte overens med teori og planer og effekten dermed overhovedet kan tilskrives indsatsen Årsager til udeblivelse af forventet effekt hvad skete der?
Implementeringsforskning Hvorfor går det, som det gør, når vi gennemfører en indsats i en given praksis? Vurdering af muligheder for forankring og vurdering af overførbarhed på baggrund af kontekstbestemte betingelser for indsatsens implementering Målgruppens forandringsparathed, interesse og engagement Kompetencer hos praktikere Betydningen af kommunikation, forsker-praktiker Betydningen af organisatoriske forhold, eks. i kommunen Samarbejde på tværs af forvaltninger Særlige politiske, kulturelle, historiske eller geografiske forhold
Evidens og læring Studier af effekt af forebyggelsesindsatser er vigtige men komplicerede og omkostningskrævende Studier af effekt og studier af indsatsers implementering og gennemførelse (proces) supplerer hinanden Evalueringer, der ikke omfatter vurdering af effekt, kan give svar på mange væsentlige spørgsmål (f.eks. mhp at forbedre praksis, nå de rigtige målgrupper, øge samarbejde eller undersøge betingelser for forankring og overførbarhed) Der bør altid gennemføres dokumentation af indsatsers aktiviteter, deltagere etc. og altid indsamles læring om, hvorfor det gik, som det gik
Tak for opmærksomheden
60 Andel elever i skoleklasse, der drikker alkohol 50 Effekt?? 40 30 20 10 0 7. klasse 8. klasse
Planlægning Udgangspunktet for studier af indsatsers gennemførelse og virkninger er god planlægning fra start Hvad er formålet hvilke problemer, hvorfor lige nu og her? Hvor skal det foregår, hvem er målgruppen og hvilke interessenter er i spil? Hvad skal indsatsen omfatte findes en best-practice? Hvad har vi brug for af ressourcer personer og materialer etc.? Hvordan tjekker vi op på, om vi får gjort det, vi har planlagt? Hvad er vores mål hvordan måler vi, om vi når dem? Hvordan evalueres effekt? hvem? Hvordan sikrer vi, at læring fra dette projekt ikke går tabt?
Brug af planlægningsmodeller kan være en god hjælp Borgernes eller praktikeres/interessenters oplevelse af problemer samt deltagelse Medtænkning af både livsstil og levevilkårsrelaterede risikofaktorer Ressourcer Lokale muligheder og betingelser Evaluering http://www.sund-by-net.dk/