Programteori: Fra indsats til virkning

Transkript

1 Programteori: Fra indsats til virkning Rikke Krølner Adjunkt, centerkoordinator Ph.d., cand.scient.san.publ. Center for Interventionsforskning Forskningsprogrammet for Børn og Unges Sundhed og Trivsel Minikursus i dokumentation og evaluering af sundhedsfremme- og forebyggelsesindsatser Centret er støttet af TrygFonden og Kræftens Bekæmpelse

2 Program Hvad er en programteori og hvordan formidler man den? Formål med programteori Hvordan fremstiller man en programteori? Hvordan ekspliciterer man en programteori? Programteori som evalueringsværktøj Teorifejl og implementeringsfejl Øvelse: Fremstilling af programteori

3 Hvad er en programteori? Indsatsen tilsigtede funktionsmåde/virkningsmekanisme Den mekanisme, der - så vidt man antager - forbinder årsag og virkning Implicitte eller eksplicitte antagelser om hvordan og hvorfor en indsats skal virke Se fx Peter Dahler-Larsen 2013 kap. 4 s. 115, Rossi et al s. 93

4 Rygeforebyggelse i folkeskolen Årsag Virkning Undervisning om rygning Færre rygere

5 Rygeforebyggelse i folkeskolen Årsag Hvordan/hvorfor? Virkning Øget viden Undervisning om rygning Øget selfefficacy Ændrede holdninger og normer Færre rygere

6 Kært barn har mange navne. Programteori Indsatsteori Virkningsteori Forandringsteori Logisk model Programlogik Program-model Outcome line Målhierarki Etc.

7 Formidling af programteori

8 Simpel logisk model Citeret fra: Patricia J. Rogers. Using Programme Theory to Evaluate Complicated and Complex Aspects of Interventions. Evaluation :

9 Målhierarki Kilde: Guide til planlægning af kommunale forebyggelsesindsatser. Sundhedsstyrelsen, 2007.

10 Aktiviteter Mål Øget viden Formål Undervisning om rygning Øget selfefficacy Ændrede holdninger og normer Færre rygere Forandringsteori

11 Input Aktiviteter Output Programressourcer Undervisningsmateriale Personale Faciliteter Administration Organisering Tid Undervisning om rygning Antal timer/opgaver eleverne får Proces-/implementeringsteori

12 Formål med programteori PLANLÆGNING, UDVIKLING OG IMPLEMENTERING af indsats: Skabe overblik: Hvad skal indsatsen påvirke og hvordan? Skabe en fælles forståelse af projektet Planlægningsværktøj: systematisk udvikling og implementering Øjenåbner: Logisk sammenhæng mellem indsats og effekter? Videndeling: Visuel formidling af projektets grundidé

13 Formål med programteori DOKUMENTATION OG EVALUERINGSREDSKAB: Giver det overhovedet mening at evaluere indsatsen? Strukturere evalueringsspørgsmål og design Undgå blackbox evaluering: Skelne mellem teorifejl og implementeringsfejl

14 Fremstilling af programteori - et eksempel fra min egen forskning

15 Formål med Boost-projektet At udvikle, implementere og evaluere en skole- og lokalsamfundsbaseret indsats, der skal øge børn og unges indtag af frugt og grønt Indsatsen skal desuden indvirke positivt på børnenes trivsel og koncentrationsevne Målgruppe: 7. klasse (13-årige) Risikogrupper: Drenge, børn fra lav socialgruppe

16 Skolebaserede interventioner: ALLE børn Tilbringer meget tid Spiser mindst et måltid Børn påvirker hinanden Skolens rammer

17 AKTIVITETER MÅL FORMÅL Gratis daglig levering af frugt og grønt Vejledning og klassekit til hyggeligt spisemiljø Forældrenyhedsbreve Adgang til varieret udbud af frugt og grønt i skolen Udskåret, synlig, tid til at spise Opmærksomhed, viden, smagspræferencer Adgang til frugt og grønt i hjemmet Indtag af frugt og grønt Adgang til frugt og grønt i fritiden Krølner R et al. 2012

18 AKTIVITETER MÅL FORMÅL Gratis daglig levering af frugt og grønt Vejledning og klassekit til hyggeligt spisemiljø Forældrenyhedsbreve Adgang til varieret udbud af frugt og grønt i skolen Udskåret, synlig, tid til at spise Opmærksomhed, viden, smagspræferencer Adgang til frugt og grønt i hjemmet Indtag af frugt og grønt Adgang til frugt og grønt i fritiden Krølner R et al. 2012

19 AKTIVITETER MÅL FORMÅL S k o l e Gratis daglig levering af frugt og grønt Vejledning og klassekit til hyggeligt spisemiljø Undervisningsmateriale og computer tailoring Adgang til varieret udbud af frugt og grønt i skolen Udskåret, synlig, tid til at spise Opmærksomhed, viden, smagspræferencer Indtag af frugt og grønt Hjem Forældrenyhedsbreve Adgang til frugt og grønt i hjemmet, forældres viden Lokalområde Faktaark til sports- og fritidsklubber Adgang til frugt og grønt i fritiden Krølner R et al. 2012

20 Kilder til systematisk udvikling af programteori Systematiske litteraturoversigter af determinanter for adfærd og interventioner Tidligere succesfulde interventioner Grå litteratur: gode cases Sundhedsadfærdsteori Egne kvantitative og kvalitative undersøgelser Planlægningsgruppe Viden om barrierer og fremmere for implementering

21 Programteori som evalueringsværktøj

22 Indsats Forventet effekt

23 Kendetegn ved mange indsatser Metodeproblemer Ingen eksplicit programteori Ikke systematisk udviklet Ikke baseret på teori og den bedst tilgængelige viden

24 Black box evaluering Implicit (ingen) programteori

25 Rygeforebyggelse i folkeskolen - Virkningsmekanisme? Undervisning om rygning? Færre rygere

26 Ekspliciter projektets programteori Kilder til programteori: Læse projektdokumenter Spørg interessenter: Projektledelse Personer, der har bestilt evalueringen Personer, der udfører/leverer indsatsen Observer indsatsens aktiviteter Litteraturstudie lignende indsatser

27 Rygeforebyggelse i folkeskolen Årsag Hvordan/hvorfor? Virkning Øget viden Undervisning om rygning Øget selfefficacy Ændrede holdninger og normer Færre rygere

28 Procesevaluering kvalitativ og kvantitativ Input Aktiviteter Output Programressourcer Undervisningsmateriale Personale Faciliteter Administration Organisering Tid Undervisning om rygning Antal timer/opgaver eleverne får Proces-/implementeringsteori

29 Effektevaluering - kvantitativ Aktiviteter Mål Formål Øget viden Undervisning om rygning Øget selfefficacy Ændrede holdninger og normer Færre rygere Forandringsteori

30 Kvalitativ evaluering af programteori/forandringsteori: Indsats: Hyggeligt spisemiljø Udskæring Brun frugt FV indtag FV indtag

31 Implementeringsfejl eller teorifejl? Resultat indtraf Resultat indtraf ikke Implementering af indsatsen var i orden Tiltro til programteori styrket Teorifejl Implementering af indsatsen var ikke i orden Andre forklaringer end programteorien gælder Implementeringsfejl Muligvis teorifejl Kilde: Dahler-Larsen 2013, s. 125

32 Øvelse

33 Tidlig indsats for ledige borgere med alkoholoverforbrug Aktiviteter Projektets mål Projektets formål Færre ledige borgere med et alkoholoverforbrug

34 Tidlig indsats for ledige borgere med alkoholoverforbrug Aktiviteter Projektets mål Projektets formål Hjælpespørgsmål: Reducere barrierer for at ledige borgere med alkoholproblemer 1) Opspores 2)Tilbydes og 3) Modtager behandling Færre ledige borgere med et alkoholoverforbrug Mindre sygdom Færre sociale problemer Flere ledige borgere i arbejde

35 Tidlig indsats for ledige borgere med alkoholoverforbrug Aktiviteter Projektets mål Projektets formål Ledelsesinvolvering J/A Kompetenceudvikling J Kommunikationsindsats Elektronisk screening af alkoholforbrug Tilbud om udgående behandling Barrierer for at ledige borgere med alkoholproblemer 1) Opspores 2)Tilbydes og 3) Modtager behandling Færre ledige borgere med et alkoholoverforbrug Mindre sygdom Færre sociale problemer Flere ledige borgere i arbejde

36 Take home messages Programteori er en go idé! Planlægning, design, implementering, dokumentation og evaluering - ansøgning Programteori: Virkningsmekanismer Trin på vejen: fx aktiviteter mål - formål Fremstilling: Fra højre mod venstre Evaluering: Fra venstre mod højre

37 Litteratur Peter H. Rossi, Mark W. Lipsey, Howard E. Freeman. Evaluation: A Systematic Approach. SAGE Publications, Inc, 2004 Peter Dahler-Larsen: Evaluering af projekter og andre ting, som ikke er ting. Syddansk Universitets-forlag, 2013: s Notat om den logiske model: df Sue C. Funnell, Patricia J. Rogers. Purposeful Program Theory: Effective Use of Theories of Change and Logic Models. Jossey- Bass, 2011.