Programteori: Fra indsats til virkning Rikke Krølner rkr@niph.dk Adjunkt, centerkoordinator Ph.d., cand.scient.san.publ. Center for Interventionsforskning Forskningsprogrammet for Børn og Unges Sundhed og Trivsel Minikursus i dokumentation og evaluering af sundhedsfremme- og forebyggelsesindsatser Centret er støttet af TrygFonden og Kræftens Bekæmpelse
Program Hvad er en programteori og hvordan formidler man den? Formål med programteori Hvordan fremstiller man en programteori? Hvordan ekspliciterer man en programteori? Programteori som evalueringsværktøj Teorifejl og implementeringsfejl Øvelse: Fremstilling af programteori
Hvad er en programteori? Indsatsen tilsigtede funktionsmåde/virkningsmekanisme Den mekanisme, der - så vidt man antager - forbinder årsag og virkning Implicitte eller eksplicitte antagelser om hvordan og hvorfor en indsats skal virke Se fx Peter Dahler-Larsen 2013 kap. 4 s. 115, Rossi et al. 2004 s. 93
Rygeforebyggelse i folkeskolen Årsag Virkning Undervisning om rygning Færre rygere
Rygeforebyggelse i folkeskolen Årsag Hvordan/hvorfor? Virkning Øget viden Undervisning om rygning Øget selfefficacy Ændrede holdninger og normer Færre rygere
Kært barn har mange navne. Programteori Indsatsteori Virkningsteori Forandringsteori Logisk model Programlogik Program-model Outcome line Målhierarki Etc.
Formidling af programteori
Simpel logisk model Citeret fra: Patricia J. Rogers. Using Programme Theory to Evaluate Complicated and Complex Aspects of Interventions. Evaluation 2008 14: 29-48.
Målhierarki Kilde: Guide til planlægning af kommunale forebyggelsesindsatser. Sundhedsstyrelsen, 2007.
Aktiviteter Mål Øget viden Formål Undervisning om rygning Øget selfefficacy Ændrede holdninger og normer Færre rygere Forandringsteori
Input Aktiviteter Output Programressourcer Undervisningsmateriale Personale Faciliteter Administration Organisering Tid Undervisning om rygning Antal timer/opgaver eleverne får Proces-/implementeringsteori
Formål med programteori PLANLÆGNING, UDVIKLING OG IMPLEMENTERING af indsats: Skabe overblik: Hvad skal indsatsen påvirke og hvordan? Skabe en fælles forståelse af projektet Planlægningsværktøj: systematisk udvikling og implementering Øjenåbner: Logisk sammenhæng mellem indsats og effekter? Videndeling: Visuel formidling af projektets grundidé
Formål med programteori DOKUMENTATION OG EVALUERINGSREDSKAB: Giver det overhovedet mening at evaluere indsatsen? Strukturere evalueringsspørgsmål og design Undgå blackbox evaluering: Skelne mellem teorifejl og implementeringsfejl
Fremstilling af programteori - et eksempel fra min egen forskning
Formål med Boost-projektet At udvikle, implementere og evaluere en skole- og lokalsamfundsbaseret indsats, der skal øge børn og unges indtag af frugt og grønt Indsatsen skal desuden indvirke positivt på børnenes trivsel og koncentrationsevne Målgruppe: 7. klasse (13-årige) Risikogrupper: Drenge, børn fra lav socialgruppe
Skolebaserede interventioner: ALLE børn Tilbringer meget tid Spiser mindst et måltid Børn påvirker hinanden Skolens rammer
AKTIVITETER MÅL FORMÅL Gratis daglig levering af frugt og grønt Vejledning og klassekit til hyggeligt spisemiljø Forældrenyhedsbreve Adgang til varieret udbud af frugt og grønt i skolen Udskåret, synlig, tid til at spise Opmærksomhed, viden, smagspræferencer Adgang til frugt og grønt i hjemmet Indtag af frugt og grønt Adgang til frugt og grønt i fritiden Krølner R et al. 2012
AKTIVITETER MÅL FORMÅL Gratis daglig levering af frugt og grønt Vejledning og klassekit til hyggeligt spisemiljø Forældrenyhedsbreve Adgang til varieret udbud af frugt og grønt i skolen Udskåret, synlig, tid til at spise Opmærksomhed, viden, smagspræferencer Adgang til frugt og grønt i hjemmet Indtag af frugt og grønt Adgang til frugt og grønt i fritiden Krølner R et al. 2012
AKTIVITETER MÅL FORMÅL S k o l e Gratis daglig levering af frugt og grønt Vejledning og klassekit til hyggeligt spisemiljø Undervisningsmateriale og computer tailoring Adgang til varieret udbud af frugt og grønt i skolen Udskåret, synlig, tid til at spise Opmærksomhed, viden, smagspræferencer Indtag af frugt og grønt Hjem Forældrenyhedsbreve Adgang til frugt og grønt i hjemmet, forældres viden Lokalområde Faktaark til sports- og fritidsklubber Adgang til frugt og grønt i fritiden Krølner R et al. 2012
Kilder til systematisk udvikling af programteori Systematiske litteraturoversigter af determinanter for adfærd og interventioner Tidligere succesfulde interventioner Grå litteratur: gode cases Sundhedsadfærdsteori Egne kvantitative og kvalitative undersøgelser Planlægningsgruppe Viden om barrierer og fremmere for implementering
Programteori som evalueringsværktøj
Indsats Forventet effekt
Kendetegn ved mange indsatser Metodeproblemer Ingen eksplicit programteori Ikke systematisk udviklet Ikke baseret på teori og den bedst tilgængelige viden
Black box evaluering Implicit (ingen) programteori
Rygeforebyggelse i folkeskolen - Virkningsmekanisme? Undervisning om rygning? Færre rygere
Ekspliciter projektets programteori Kilder til programteori: Læse projektdokumenter Spørg interessenter: Projektledelse Personer, der har bestilt evalueringen Personer, der udfører/leverer indsatsen Observer indsatsens aktiviteter Litteraturstudie lignende indsatser
Rygeforebyggelse i folkeskolen Årsag Hvordan/hvorfor? Virkning Øget viden Undervisning om rygning Øget selfefficacy Ændrede holdninger og normer Færre rygere
Procesevaluering kvalitativ og kvantitativ Input Aktiviteter Output Programressourcer Undervisningsmateriale Personale Faciliteter Administration Organisering Tid Undervisning om rygning Antal timer/opgaver eleverne får Proces-/implementeringsteori
Effektevaluering - kvantitativ Aktiviteter Mål Formål Øget viden Undervisning om rygning Øget selfefficacy Ændrede holdninger og normer Færre rygere Forandringsteori
Kvalitativ evaluering af programteori/forandringsteori: Indsats: Hyggeligt spisemiljø Udskæring Brun frugt FV indtag FV indtag
Implementeringsfejl eller teorifejl? Resultat indtraf Resultat indtraf ikke Implementering af indsatsen var i orden Tiltro til programteori styrket Teorifejl Implementering af indsatsen var ikke i orden Andre forklaringer end programteorien gælder Implementeringsfejl Muligvis teorifejl Kilde: Dahler-Larsen 2013, s. 125
Øvelse
Tidlig indsats for ledige borgere med alkoholoverforbrug Aktiviteter Projektets mål Projektets formål Færre ledige borgere med et alkoholoverforbrug
Tidlig indsats for ledige borgere med alkoholoverforbrug Aktiviteter Projektets mål Projektets formål Hjælpespørgsmål: Reducere barrierer for at ledige borgere med alkoholproblemer 1) Opspores 2)Tilbydes og 3) Modtager behandling Færre ledige borgere med et alkoholoverforbrug Mindre sygdom Færre sociale problemer Flere ledige borgere i arbejde
Tidlig indsats for ledige borgere med alkoholoverforbrug Aktiviteter Projektets mål Projektets formål Ledelsesinvolvering J/A Kompetenceudvikling J Kommunikationsindsats Elektronisk screening af alkoholforbrug Tilbud om udgående behandling Barrierer for at ledige borgere med alkoholproblemer 1) Opspores 2)Tilbydes og 3) Modtager behandling Færre ledige borgere med et alkoholoverforbrug Mindre sygdom Færre sociale problemer Flere ledige borgere i arbejde
Take home messages Programteori er en go idé! Planlægning, design, implementering, dokumentation og evaluering - ansøgning Programteori: Virkningsmekanismer Trin på vejen: fx aktiviteter mål - formål Fremstilling: Fra højre mod venstre Evaluering: Fra venstre mod højre
Litteratur Peter H. Rossi, Mark W. Lipsey, Howard E. Freeman. Evaluation: A Systematic Approach. SAGE Publications, Inc, 2004 Peter Dahler-Larsen: Evaluering af projekter og andre ting, som ikke er ting. Syddansk Universitets-forlag, 2013: s. 115-140 Notat om den logiske model: http://www.kora.dk/media/282484/den_logiske_model_290808_0.p df Sue C. Funnell, Patricia J. Rogers. Purposeful Program Theory: Effective Use of Theories of Change and Logic Models. Jossey- Bass, 2011.