Kapitel 12. Virkningsevaluering (Thomas Bredgaard, Julia Salado- Rasmussen og Stella Mia Sieling-Monas)

Transkript

1 Under udgivelse i T. Bredgaard, red. Evaluering af offentlig politik og organisationer, Hans Reitzels forlag (udkommer primo 2016) Kapitel 12. Virkningsevaluering (Thomas Bredgaard, Julia Salado- Rasmussen og Stella Mia Sieling-Monas) Kært barn har mange navne: Virkningsevaluering, realistisk evaluering, teori-baseret evaluering og virkelighedsnær evaluering. Værktøjet til at foretage denne form for evaluering har ligeledes forskellige betegnelser: Programteorier, logiske modeller, interventionsteorier, indsatsteorier og forandringsteorier. I det følgende benytter vi betegnelserne virkningsevaluering og programteorier, som er de mest anvendte begreber, navnlig i den danske evalueringslitteratur. Virkningsevaluering blev introduceret på socialområdet i danske lærebøger i 2000ernes begyndelse (jf. Dahler-Larsen & Krogstrup, 2003; Krogstrup, 2003) og har siden spredt sig og anvendes nu på mange forskellige politikområder. Den danske version af virkningsevaluering bygger på ældre udenlandske evalueringstraditioner, særlig teori-baseret evaluering og realistisk evaluering (jf. Schuman, 1967; Wholey, 1987; Chen, 1990; Rogers, 2000; Pawson & Tilley 1997; Pawson, 2013). Formålet med en virkningsevaluering er at undersøge og dokumentere, hvad der virker for hvem, under hvilke omstændigheder. Virkningsevalueringer tilstræber, at åbne indsatsers (politikkers, interventioners eller programmers) sorte boks og ikke blot undersøge om indsatser virker, men også hvorfor og hvordan de virker. Ambitionen er at koble viden om indsatser og processer sammen med viden om resultater og effekter. Det er en ambition, der går på tværs af den faseopdeling af evalueringsmodellerne vi har anvendt i bogens tidligere kapitler. Men er det overhovedet nødvendigt at åbne indsatsers sorte boks? Er det ikke tilstrækkeligt, at vi undersøger om indsatser virker efter hensigten og har opnået de forventede resultater og effekter? Vi kender fx argumentet om, at kunden er ligeglad med hvordan bilen er produceret, så længe den kører godt. I offentlig politik og administration forholder det sig imidlertid anderledes. Her er tilblivelsen af produktet sjældent ligegyldig. Offentlige indsatser har indre værdi, hvilket indebærer at måden, hvorpå målet opnås (processen) ofte er af lige så stor betydning som, hvorvidt målet er nået (effekten). De færreste forældre vil fx acceptere, at en skolelærer anvender fysisk afstraffelse af eleverne, og nøjes med, at interessere sig for elevernes præstationer ved eksamen i matematik og dansk. Det andet argument for at åbne den sorte boks er, at forbedringer og revisioner af programmer og politikker er et væsentligt formål med evaluering, hvilket som regel ikke er muligt med mindre der gennemføres evaluering af hvorfor og hvordan programmet fungerer (jf. Chen, 1994). Virkningsevaluering har derfor til formål: 1

2 At undersøge betingelserne for programmers implementering og de mekanismer som forbinder processer og effekter som middel til at forstå hvornår og hvordan programmer virker (Weiss 2007: 68). Vi starter med at beskrive virkningsevalueringens teoretiske baggrund og udvikling. Derefter diskuteres, hvorvidt virkningsevaluering er i stand til at indfri ambitionen om, at bygge bro mellem procesevaluering og effektevaluering. Vi bruger derefter lidt ekstra kræfter på at præsentere realistisk evaluering, som efter vores vurdering er det hidtil mest overbevisende bud på en solid teoretisk og metodisk tilgang til virkningsevaluering. Herefter giver vi forslag til hvordan programteorier kan konstrueres og testes. Kapitlet afsluttes med at skitsere nogle af de væsentligste udfordringer, som karakteriserer virkningsevaluering. Virkningsevalueringens rødder og udvikling Virkningsevaluering er blevet den foretrukne danske betegnelse for den type evaluering, som anvender program- eller forandringsteorier til at undersøge, hvad der virker for hvem, under hvilke omstændigheder. Virkningsevaluering udspringer af teori-baseret evaluering og realistisk evaluering fra den engelsksprogede litteratur. Carol Weiss (2007) nævner, at begrebet teoribaseret evaluering opstod blandt evalueringsforskere i begyndelsen af 1990erne. Men selve ideen om at anvende programteorier til at forstå hvorfor og hvordan programmer virker, er endnu ældre. I det følgende tager vi på en kort rundtur i virkningsevalueringens fortid og nutid. 1 En af de første til eksplicit at anvende begrebet programteori var Edward Schuman (1967), som diskuterede to årsager til at programmer mislykkedes: (1) Implementeringsfejl og (2) teorifejl. Implementeringsfejl betegner en manglende evne til at gennemføre de intenderede aktiviteter i programmet, imens teorifejl betegner aktiviteternes manglende evne til at medføre de ønskede effekter. Vi vender tilbage til denne vigtige sondring senere. I 1972 argumenterede Carol Weiss som den første for, at evalueringer skulle bygge på programteorier. Weiss anskueliggjorde det i forhold til forskellige teorier indbygget i et program for læreres hjemmebesøg. Siden fulgte Joe Wholey s (1987) arbejde med evaluerbarhed (evaluability assessment) som understregede behovet for at undersøge, hvorvidt et programs underliggende teori gav mening. Wholeys idé var at man forud for den egentlige evaluering foretog en vurdering af hvorvidt det logiske ræsonnement som forbinder programmers input med output er meningsfuldt, samt om det er sandsynligt at målene kan realiseres. 1 Referencerne til de forskellige bidrag i litteraturen om teori-baseret evaluering og programteori kan findes i Carol Weiss oversigtsartikel fra 2007 (Weiss, 2007). Sue C. Funnell & Patricia J. Rogers har en næsten tilsvarende gennemgang af programteoriers idehistorie (jf. Funnell & Rogers, 2011: 16ff.). 2

3 I slutningen af 1980erne var teori-baseret evaluering efterhånden blevet en ganske populær ide, omend der fortsat ikke var så mange praktiske eksempler på anvendelsen af tilgangen. Der var i perioden en kraftigt akademisk opblomstring af diskussionerne om teori-baseret evaluering og programteori. Eksempelvis udkom der i hhv og 1990 temanumre af tidsskriftet New Directions for Program Evaluations som var tilegnet diskussionen af teori-baseret evaluering og programteori. I år 2000 fulgte et tredje temanummer af tidsskriftet som var tilegnet diskussionen om programteorier i evaluering (jf. Rogers m.fl., 2000). Huey-Tsuh Chen og Peter Rossi videreudviklede ideerne i en række publikationer i 1980erne og begyndelsen af 1990 erne. Deres bidrag var især at påpege, at programteori skulle indeholde samfundsvidenskabelig teori og ikke blot en række logiske ræsonnementer. Chen skelnede eksempelvis mellem normativ teori og kausalteori, hvor førstenævnte giver vejledning om hvilke mål og resultater som bør forfølges eller undersøges, imens sidstnævnte er antagelserne om hvorvidt og hvordan programmet virker. De fleste evaluatorer som anvender virkningsevaluering og programteori benytter kausalteori, nærmere bestemt den såkaldte generative kausalteori (jf. senere afsnit om kausalitet i virkningsevaluering). I slutningen af 1990erne kommer et markant bidrag til teoriudviklingen med Ray Pawsons og Nick Tilleys bog om realistisk evaluering, der præsenterer et solidt videnskabsteoretisk og evalueringsteoretisk alternativ til eksperimentelle evalueringsmetoder (Pawson & Tilley, 1997). Ray Pawson arbejder efterfølgende videre med begreberne og introducerer den realistiske syntese som alternative til systematiske forskningsoversigter (Pawson, 2006) og har senest udfoldet (realistisk) evaluering som en selvstændig form for anvendt videnskab (Pawson, 2013). Vi beskriver realistisk evaluering mere udførligt nedenfor. Det seneste årti har ifølge Weiss (2007: 70) handlet om at anvende og praktisere teori-baseret evaluering. Begreberne er efterhånden blevet mainstream indenfor evaluering og er inkluderet i de fleste nyere tekstbøger om evaluering (jf. fx Rossi, Freeman & Lipsey, 1999; Vedung, 2009; Dahler-Larsen, 2013). Ray Pawson nævner i sin nyeste bog, at han har fundet mere end 100 videnskabelige studier, som hævder, at være realistiske evalueringer (Pawson, 2013: 13). Dertil kommer evalueringer som bruger andre betegnelser som teori-baseret evaluering, programteorievaluering osv. I Danmark blev evalueringstraditionen præsenteret i begyndelsen af 2000-tallet og fik som nævnt samlebetegnelsen virkningsevaluering (jf. Dahler-Larsen & Krogstrup, 2003). Den danske udgave af virkningsevaluering blev udviklet og afprøvet i forbindelse med et projekt om udvikling af evalueringsmodeller under Socialministeriets evalueringsprogram i perioden Selve betegnelsen virkningsevaluering understreger dels at virke (proces) og virkning (effekten) og udtrykker således bestræbelsen på at bygge bro mellem processer og effekter (jf. Dahler-Larsen & Krogstrup, 2003). I et senere værk forklarer Peter Dahler-Larsen hvordan den nye betegnelse virkningsevaluering samtidig gav ham mulighed for at udvikle evalueringsmodellen i andre 3

4 retninger end den gængse indenfor teori-baseret evaluering (Dahler-Larsen, 2013: 115). Dahler- Larsen ønskede nemlig, at kombinere virkningsevaluering med konstruktivisme i stedet for med kritisk realisme. Den store interesse for virkningsevaluering har efterhånden skabt en stor variation og mangfoldighed nogle vil måske kalde det forvirring - i de anvendte betegnelser samt i måden hvorpå programteorier repræsenteres og anvendes (jf. Funnell & Rogers, 2011: 23). Virkningsevalueringens popularitet kommer også til udtryk ved, at organisationer og bevillingsgivere ligefrem er begyndt at forlange, at forslag til programmer, projekter eller politikker skal indeholde en logisk model eller programteori før påbegyndelse. Programteorier anvendes med andre ord til både planlægning, styring og evaluering af projekter (jf. Rogers, 2007). Virkningsevaluering som brobygger Det er ikke så svært at forstå virkningsevalueringens popularitet, idet den tilstræber af forene det bedste fra begge verdener. Virkningsevaluering søger at integrere procesevaluering og effektevaluering og at kombinere kvalitative og kvantitative metoder. Dog adskiller virkningsevaluering sig også fra både procesevaluering og effektevaluering, hvilket vi skal se i det følgende. Vi har skitseret de væsentligste forskelle mellem de tre evalueringstilgange nedenfor. 4

5 Tabel Virkningsevaluering som brobygger Effektevaluering Virkningsevaluering Procesevaluering Undersøgelsesspørgsmål Virker det? Hvad virker for hvem, hvorfor, under hvilke omstændigheder? Fokus Effekter Effekt og proces Processer Metode Kvantitative metoder Multi-metodologisk: Anvender både kvantitative og kvalitative metoder Teori om forbindelse mellem indsats og effekt Viden Beslutningsproces Successionistisk kausalteori Kontekstuafhængig Global viden Antager at beslutningstagere foretager rationelle valg mellem de mest effektive midler til at opnå mål Generativ kausalteori Kontekstafhængig, men overførbar viden Evaluator søger at informere praktikere, deltagere og beslutningstagere samt udvikle deres programteorier Kilde: Udvirket med inspiration fra Pawson & Tilley (1997: kapitel 1). Hvordan opleves og opfattes virkningerne? Kvalitative metoder Logisk teori Kontekstafhængig Lokal viden Evaluator vægter lydhørhed overfor de berørte interesser og at informere beslutningstagere om hvordan interventioner opleves og anvendes Formålet med en effektevaluering er at undersøge om en given indsats, intervention eller program virker eller ikke virker (jf. kapitel 10). Effektevalueringer stammer fra den eksperimentelle tradition, som søger kontekstuafhængig og universel viden (evidens) gennem kontrollerede forsøg af interventioners og programmers effekter (jf. også kapitel 3). Traditionen opstod i USA i efterkrigstiden, hvor der var en stor styringsoptimisme ift. at løse grundlæggende samfundsproblemer gennem videnskabelige metoder og rationelle beslutningsprocesser (f.eks. illustreret ved Lyndon B. Johnsons forestillinger om The Great Society og erklæringer om War on Poverty) (jf. Albæk, 1988). Politik blev i den forstand en slags social ingeniørkunst (jf. Vedung, 2010 og kapitel 2). Eksperimentel evaluering bygger på såkaldt successionistisk kausalteori, dvs. forsøg på at ekskludere enhver tænkelig kausal agent fra eksperimentet bortset fra interventionen, således at der til sidst blot er en sikker (evident og automatisk) kausal forbindelse mellem indsats og effekt tilbage. Ambitionen er at opnå kontekstuafhængig og global viden om hvorvidt interventioner virker eller ikke virker, for derefter at kunne informere beslutningstagere om hvilke interventioner som virker bedst og mest effektivt. Beslutningstagere antages for sin del at agere rationelt og benytte de mest effektive og virksomme indsatser, imens ikke-virksomme 5

6 eller ineffektive indsatser bør nedlægges. Dette er ligeledes essensen i den evidensbevægelse, som igennem en årrække er skyllet ind over de fleste vestlige lande (jf. Vedung i kapitel 2 og Krogstrup og Baadsgaard i kapitel 3). Kritikere fremhæver dog, at evidensbevægelsen og især randomiserede kontrollerede forsøg (RCT) har vanskeligt ved at indfri løfterne om universel og sikker viden. Kritikere fremhæver, at eksperimentelle design ikke kan favne komplekse interventioner og at metoden dermed giver forsimplede løsninger på problemstillinger, som ikke kan forstås løsrevet fra kontekst (jf. Dahler- Larsen & Krogstrup, 2003; Dahler-Larsen, 2013). Eksperimentelle evalueringer har samtidig vanskeligt ved at adressere spørgsmålet om, hvorfor og hvordan interventioner virker og har sjældent produceret konsistente resultater (jf. Pawson & Tilley, 1997: kapitel 2). Det gør det vanskeligt for politiske beslutningstagere, at omsætte evalueringsresultaterne til praktisk politik og beslutninger. Dertil kommer at evidensbevægelsen undervurderer beslutningsprocessers grundlæggende politiske natur (jf. Foss Hansen i kapitel 4 og Dahler-Larsen i kapitel 14), hvilket indebærer at selv når evidensen for et givent tiltag er entydig kan der være gode politiske grunde at handle anderledes (fx kompromisser, studehandler, værdier, holdninger osv.). Procesevalueringer adresserer nogle af begrænsningerne ved effektevaluering (jf. kapitel 7 af Rasmussen og Rasmussen). Vi bruger her procesevaluering som en samlebetegnelse for de forskellige evalueringstilgange, der interesserer sig for indsatsers aktiviteter, processer og implementering (fx responsiv evaluering, interessentevaluering, kompetenceevaluering, empowermentevaluering, brugerevaluering og implementeringsevaluering, jf. ligeledes kapitel 8 og 9). Et væsentligt formål med disse evalueringsformer er at opnå en dybere indlevelse i interventionernes karakter samt deltagernes, praktikernes og beslutningstagernes oplevelser, vurderinger og erfaringer. Der sker således en naturlig forskydning fra det kvantitative studie af effekter til det kvalitative studie af processer. Procesevaluering søger ikke efter årsagsforklaringer på om interventioner virker, men interesserer sig for hvordan de virker og opleves at virke af deltagere, brugere, medarbejdere og andre interessenter. Der anvendes således ikke kausalteori som i effekt- og virkningsevaluering, men logisk teori som ud fra deltagernes/brugernes perspektiv undersøger indsatsernes konsekvenser. Evalueringsresultaterne kan derefter anvendes til at informere beslutningstagere om hvordan berørte interessenter oplever programmers og interventioners virkninger. Procesevalueringer er ikke nødvendigvis eksplicit teori-drevne og søger ikke nødvendigvis at generalisere evalueringsresultaterne udover den specifikke kontekst, hvori de er opstået. 2 2 Der kan udover virkningsevaluering også identificeres andre evalueringspositioner imellem effektevaluering og procesevaluering. Pawson og Tilley (1997: kapitel 1) har eksempelvis eksperimentel evaluering og konstruktivistisk/naturalistisk evaluering i hver sin ende af skalaen (tilsvarende det vi benævner effektevaluering og procesevaluering ). I mellem disse placerer Pawson og Tilley den pragmatiske/politiske evaluering og den pluralistiske tilgang (Pawson & Tilley 1997: kapitel 1). 6

7 Virkningsevaluering kan opfattes som en brobygger mellem effektevaluering og procesevaluering. For at besvare det grundlæggende spørgsmål i en virkningsevaluering om, hvad der virker for hvem, under hvilke omstændigheder skal der fokuseres på både effekter og processer og anvendes både kvantitative og kvalitative metoder. Målet med en virkningsevaluering er i sidste ende at udvikle bedre og mere evidensbaserede programteorier (meso-teorier) med henblik på at kvalificere beslutningsgrundlag og praksis. Virkningsevaluering kan være et supplement til effektevaluering i de situationer, hvor man ønsker at undersøge hvorfor og hvordan effekterne opstod. Men virkningsevaluering kan også være et alternativ til effektevaluering. Som en særlig aftapning af virkningsevaluering er den form for evaluering vi beskriver i det følgende, den realistiske evaluering, hovedsageligt, men ikke udelukkende, ment som en kritik af den eksperimentelle evalueringstradition, der anvender randomiserede kontrollerede forsøg. Realistisk evaluering Realistisk evaluering er som nævnt udviklet af Ray Pawson og Nick Tilley og er formuleret som et opgør med og alternativ til eksperimentelle evalueringsmodeller (Pawson & Tilley, 1997). Den realistiske evaluering har et solidt videnskabsteoretisk fundament i kritisk realisme. 3 Det grundlæggende spørgsmål som undersøges i en realistisk evaluering er, hvad der virker for hvem, under hvilke omstændigheder. Formålet med realistiske evalueringer er at konstruere, teste og forfine programteorier. Disse programteorier er forestillinger om forbindelser mellem årsag og virkning, som identificeres gennem såkaldte CMO-konfigurationer: Context (C) + Mechanism (M) = Outcome (O). Indsatser virker (dvs. har succesfulde outcomes) når de introducerer de rette ideer og muligheder (mekanismer) til grupper eller personer under de rette sociale og kulturelle omstændigheder (kontekst) (Pawson & Tilley 1997: 57). I det følgende præciseres, hvad der forstås ved nøglebegreberne: Mekanismer, kontekst og outcomes. Desuden tilføjer vi begrebet moderator, introduceret af Peter Dahler-Larsen (2001). 3 Som videnskabsteori indtager realisme en position imellem positivisme og relativisme/fænomenologi. Realismen søger i modsætning til positivismen, at finde generative mekanismer frem for kausale mekanismer. Det antages i modsætning til relativismen, at virkeligheden er observerbar og ikke blot består af sociale konstruktioner. I Ray Pawsons seneste bog er der en detaljeret indføring i den realistiske evaluerings filosofiske, epimistologiske og metodologiske rødder (jf. Pawson, 2013: kapitel 1). 7

8 Hvad er mekanismer? For at forstå hvordan programmer virker, må vi undersøge de underliggende mekanismer, som forbinder indsats og effekt, dvs. de indre forhold som virker under den observerbare overflade. Mekanismer er ofte skjulte eller latente agenter som skaber forandring. Det er gennem ideen om disse mekanismer, at man kan tage skridtet fra at spørge om et program virker, til at forstå hvad det er ved et program som får det til at virke. Pawson og Tilley (1997: 65) bruger et eksempel med et ur. Vi bliver ikke i stand til at forstå hvordan et ur virker ved at studere urets overflade og visernes bevægelser. Vi må skille det ad og undersøge hvad der sker under overfladen i selve urværket. Mekanismer virker på samme måde under den synlige overflade og kan ikke ses med det blotte øje. Mekanismen er ifølge Pawson og Tilley en regularitet, altså forklaringen eller hypotesen om, hvorvidt og hvorfor der er forbindelse mellem indsats og effekt. Astbury og Leeuw (2010) fremhæver følgende kendetegn ved en mekanisme: (1) de er ofte skjulte, (2) de er følsomme overfor variationer i konteksten og (3) de skaber (genererer) effekter (outcomes). I Pawson (2013: kapitel 6 og 7) er der flere eksempler på hvordan både sociale programmer og kliniske interventioner ved hjælp af disse usynlige mekanismer er i stand til at skabe adfærdsændringer. Hvad er kontekst/moderatorer? Relationen mellem mekanismer og effekter er ikke fastgjort på forhånd, men kontingent, dvs. afhænger af den pågældende kontekst. Om potentialet i en mekanisme bliver til effekter afhænger af, hvorvidt den pågældende kontekst formår at aktivere mekanismerne. Vi ved eksempelvis at en gnist kan få krudt til at eksplodere. Men det er kun under bestemte betingelser, at det faktisk sker (fx når krudtet er tørt og kompakt pakket). Konteksten er således en slags antændingsmekanisme, der bestemmer, hvorvidt mekanismer virker eller ikke. En bestemt mekanisme virker måske i en kontekst, men ikke i en anden kontekst. Det er imidlertid ofte vanskeligt i praksis at afgrænse og fokusere, hvilke af de mange forhold i programmers omgivelser, som øver afgørende indflydelse på mekanismerne. Til det formål har Dahler-Larsen (2003: 102ff) introduceret begrebet moderator (jf. også Dahler-Larsen 2001). 4 Man kan tænke på moderatorer som betingelser, der enten aktiverer eller deaktiverer mekanismen mellem årsag og virkning. Det er forhold som kausalt regulerer et andet kausalforholds styrke og retning (Dahler- Larsen 2003: 103). 5 4 Dahler-Larsen (2001) nævner i den sammenhæng tre typer af moderatorer, som indvirker på programteoriers sandhedsværdi: Tragiske moderatorer kan (ubevidst) ødelægge betingelserne for programmets virkning, magiske moderatorer er positive, selvopfyldende profetier og konkurrerende moderatorer kæmper for at påvirke en moderator, som er afgørende for flere programmer. 5 Når et kausalforhold skal forklares inden for metodologien skelnes tilsvarende mellem medierende og modererende variable. En medierende variabel intervenerer direkte i relationen mellem årsag og virkning (og er således tilsvarende det vi betegner mekanismer ) imens en modererende variabel betinger relationen mellem årsag og virkning (og dermed svarer til de vi betegner moderator eller kontekst ). 8

9 Hvad er effekter? Kombinationen af mekanismer og kontekst (moderatorer) skaber bestemte udfald (effekter eller outcomes ). En effekt er de (såvel intenderede som uintenderede) resultater som skabes, når en indsats (program/intervention) fører til faktiske forandringer. Effekter er ikke de umiddelbare eller kortsigtede resultater af en indsats, disse betegnes i evalueringslitteraturen som præstationer (output). Effekter er derimod de mellemsigtede og langsigtede resultater (outcomes) (jf. også kapitel 1). At unge kontanthjælpsmodtagere deltager i et kommunalt aktiveringsprojekt er eksempelvis det kortsigtede resultat (præstation). At de gennemfører en ordinær uddannelse eller kommer i beskæftigelse er det mellemsigtede og langsigtede resultat (effekt). Forskningsdesignet i realistisk evaluering er ikke anderledes end i mange andre videnskabelige undersøgelser. Teorier formuleres abstrakt og omhandler identifikationen og forklaringen af regulariteter (outcomes). I forhold til realistisk evaluering formuleres teori som antagelser om hvordan mekanismer (M) aktiveres i kontekster (C) som skaber bestemte outcomes (O). Specifikke hypoteser udledes dernæst af teorierne og angiver, hvornår og hvordan regulariteter kan findes. Hypoteserne er en specificering af hvordan programmer forventes at skabe forandring. Det tredje skridt er at teste hypoteserne gennem observationer af forskellig art. Der findes ikke en bestemt metode, som har forrang i den realistiske evaluering, idet metodevalget afhænger af evalueringsspørgsmålet og hypotesernes karakter. Observationerne fører derefter til programspecifikationer, altså konkrete udsagn om hvad der virker for hvem, under hvilke omstændigheder. 6 Faserne i gennemførslen af en realistisk evaluering er skitseret nedenfor. 6 Hvis der er tale om interventioner karakteriseret ved konflikt og konkurrerende programteorier, hvilket ofte er tilfældet indenfor offentlig politik og forvaltning, er den såkaldte teori-baserede stakeholderevaluering en velegnet metode (jf. Hansen & Vedung, 2010). 9

10 Figur Den realistiske evalueringscyklus Teori Kontekst (C) Mekanismer (M) Outcome (O) Program specifikation Hvad virker for, hvem under hvilke omstændigheder Hypoteser Hvad forventes at virke for hvem, under hvilke omstændigheder Observationer Multiple metoder og analyse af C,M,O Kilde: R. Pawson & M. Tilley (1997: 85): Realistic evaluation, London: Sage. I sidste ende er målet at afkræfte, bekræfte, forfine, præcisere eller fokusere den pågældende programteori. Den realistiske evaluering søger specifikationer af programteorierne frem for universelle og kontekstuafhængige generaliseringer. Realistisk evaluering har efterhånden opnået en sådan popularitet og udbredelse, at Ray Pawson har følt sig foranlediget til at lave en kritisk gennemgang af udvalgte studier, som hævder at være realistiske evalueringer, for at præcisere, hvad der vil sige at foretage realistisk evalueringer (jf. Pawson & Manzano-Santella, 2012; Pawson, 2013: kapitel 2). Det er vores erfaring, at de samme kritikpunkter er relevante i forhold til måden virkningsevaluering og især programteorier anvendes i danske evalueringer. Pawson fremhæver tre typer af fejl, som ofte forekommer i gennemførslen af realistiske evalueringer: (1) Manglende forklaringer: Nogle evalueringer, som hævder at være realistiske evalueringer, giver ikke en ordentlig forklaring på, hvorfor interventioner virker for hvem, under hvilke omstændigheder. De nøjes i stedet med statistiske korrelationer eller beskrivelser af aktiviteter. Statistiske beregninger kan være et vigtigt første trin til at afdække variationer i programmers resultater. Men statistiske korrelationer må ikke forveksles med kausale mekanismer og skal derfor underbygges med forklaringer. (2) Anvendelse af én enkelt metode: Nogle evalueringer, som hævder at være realistiske evalueringer, begår den fejl, at de anvender den samme metode til at konstruere og teste programteorien. De arbejder ikke multimetodologisk og får derfor ofte ikke testet deres programteori. Realistiske evalueringer søger, som nævnt, at bygge bro mellem procesevaluering og effektevaluering og mellem kvalitative og kvantitative metoder. 10

11 Identificering af mekanismer i offentlige interventioner forudsætter eksempelvis kvalitative metoder, observationer af outcomes er ofte baseret på kvantitative metoder, imens inddragelse af kontekst ofte vil forudsætte komparative og til tider historiske data. Ved at kombinere metoderne undgår man at producere gode nyhedshistorier, hvor man gentager deltagernes eller medarbejdernes positive forhåbninger om, at programmer vil virke uden at teste om de rent faktisk virker. (3) Lange ingredienslister og kataloger: Den sidste fejl Pawson fremhæver, er at nogle evaluatorer producerer lange ingredienslister eller kataloger af kontekster, mekanismer og outcomes. I mange realistiske evalueringer forveksles programaktiviteter ofte med mekanismer. CMO-konfigurationer er ifølge Pawson forholdsvis snævre og begrænsede hypoteser om, at programmer skaber virkninger (outcomes) på grund af en underliggende årsag (mekanismer), som kun fungerer under bestemte betingelser (kontekst). Programmer eksisterer ikke i forudbestemte klumper eller kasser der kaldes kontekster, mekanismer og outcomes. Begreberne har derimod deres mening i deres funktion i den realistiske forklaring og deres rolle i testningen af disse forklaringer. Vi vil dog indvende, at Ray Pawson og kollegaer er delvist selvforskyldte i at evaluatorer ind i mellem har svært ved at leve op til forskrifterne i realistisk evaluering. Det skyldes, at forskrifterne til tider er uklare, tvetydige og ukonkrete. Der mangler efter vores erfaring en mere operationel metodologi til hvordan man som evaluator kan gennemføre realistiske evalueringer. Dette kan vi ikke tilbyde indenfor rammerne af dette kapitel, men vi vil i det følgende bestræbe os på at være så konkrete og operationelle som muligt, når vi beskriver hvordan programteorier kan konstrueres og evalueres. Konstruktion af programteorier En programteori er eksplicitte antagelser om, hvad der forbinder en given intervention (indsats, projekt, program) overfor en bestemt målgruppe med bestemte resultater i en given kontekst. Programteorier har forskellige betegnelser i litteraturen, fx interventionsteorier (Vedung, 2009), CMO-konfigurationer (Pawson & Tilley, 1997; Pawson, 2013), logiske modeller (Funnell og Rogers, 2011), programteorier (Dahler-Larsen & Krogstrup, 2003; Dahler-Larsen 2013; Bredgaard m.fl., 2011), indsatsteorier (jf. Danmarks Evalueringsinstitut) eller forandringsteori (jf. Rambøll, 2010; Arbejdsmarkedsstyrelsen m.fl., 2011). Vi benævner dem programteorier forstået som eksplicitte antagelser om, hvad der virker for hvem, under hvilke omstændigheder. Programmer forstår vi som en bred kategori, der kan indeholde offentlige indsatser, interventioner, politikker, programmer og projekter. I det følgende beskriver vi, hvordan programteorier kan konstrueres og præsenteres. Programteorier kan anvendes som redskab til at forbedre planlægningen af programmer. En forholdsvis simpel grafisk fremstilling af programteorier (jf. nedenfor) er velegnet til at visualisere 11

12 formålet med nye eller igangværende indsatser samt interessenternes bedste antagelser om hvorfor og hvordan indsatserne forventes at virke. Programteorier kan således anvendes til at synliggøre den ofte usynlige (tavse) faglige praksisviden og erfaring, som programmedarbejdere har om hvorfor og hvordan indsatser virker og for hvem. Programteorier kan også anvendes som styringsredskab. De medvirker til at skærpe antagelser om hvorfor og hvordan en indsats forventes at virke og flytte fokus fra hvordan igangværende aktiviteter faktisk implementeres, til hvordan de burde implementeres. Programteorier viser hvad der er væsentligt ved en given indsats eller intervention og kan anvendes til at finde indikatorer og indsamle data om progression frem mod slutmålet, dvs. som en slags resultatsyringssystem. Endelig kan programteorier anvendes som evalueringsredskab, dvs. som eksplicitte hypoteser om, hvad der virker for hvem, under hvilke omstændigheder. Gyldigheden og rækkevidden af disse antagelser (hypoteser) skal testes gennem en evaluering af programteorien (det vender vi tilbage til, når vi har beskrevet hvordan programteorier kan konstrueres). Forandringsteori og implementeringsteori En god programteori indeholder både konsistent(e) teori(er) om, hvordan programmet skaber forandring for de individer som deltager og gør det muligt at implementere denne teori i overensstemmelse med hensigterne. Hvis programmet ikke virker efter hensigten kan det skyldes at der er enten teorifejl eller implementeringsfejl. Der er en afgørende forskel mellem de to fejl, idet implementeringsfejl kan repareres (fx flere ressourcer, uddannelse af medarbejdere) imens teorifejl ikke kan repareres. Når man konstruerer en programteori, er det nyttigt at udforme både en forandringsteori og en implementeringsteori (jf. Funnell & Rogers, 2011). Forandringsteori er de(n) generelle drivere eller processer, der skaber forandring hos deltagerne og får dem til at ændre adfærd. Forandringsteorien kan stamme fra en formel videnskabelig teori, men også en uformel og uudtalt forståelse af, hvordan programmet virker. Implementeringsteorien forklarer hvordan programmer er konstruereret for at aktivere disse forandringsteorier. Der er mange forskellige forandringsteorier indenfor forskellige fagdiscipliner om hvad der skaber adfærdsændringer, som det ikke er muligt at gennemgå her (se i stedet Funnell & Rogers, 2011: kapitel 11; Pawson, 2013: kapitel 6). Det samme gælder forskellige typer af indsatser og programmer. Her skelner Vedung (2009, 2000) fx imellem informationsprogrammer ( prædiken, der virker gennem viden om fordele, ulemper og 12

13 konsekvenser), regulative programmer ( pisk, der virker gennem tvang og sanktioner) og økonomiske programmer ( gulerødder, der virker gennem økonomiske belønning eller straf). 7 I praksis udledes de to typer af teori ofte samlet. Fordelen ved analytisk at dele dem op er, at det bliver tydeligt, at en programteori indeholder en generel teori om, hvad der skaber forandring hos evaluanden (forandringsteorien) og en konkret teori om, hvilke instrumenter, som skal skabe denne forandring i interventionen (implementeringsteorien). Denne opdeling giver mulighed for at skelne mellem teorifejl og implementeringsfejl, når programteorien skal evalueres (jf. nedenfor). Kilder til programteori En programteori kan bygge på mange forskellige kilder afhængigt af formålet, fx en systematisk litteraturgennemgang, observationer, fagligt materiale, en projektbeskrivelse, politiske udmeldinger og logisk ræsonnement (Dahler-Larsen, 2013: 121, Funnell & Rogers, 2011: 108). Programteorien kan udledes både deduktivt og induktivt. De to tilgange er ikke gensidigt udelukkende og overlapper ofte i praksis. 1. Deduktiv tilgang: Programteorien opstilles deduktivt på baggrund af formelle og uformelle dokumenter om interventionen. Det kan både være retningslinjer, tidligere rapporter og evalueringer samt mere generel litteratur og teori om genstandsfeltet. På baggrund af den indsamlede litteratur kan evaluator lave et logisk ræsonnement om hvordan interventionen virker. Evaluator indfører en antagelse (if-then) om, at interventionsteorien er rationelt begrundet og spørger sig selv: ud fra beskrivelsen af interventionen i sin rå form, hvad skal så foreligge i teorien for at den skal være sammenhængende instrumentel? Hvilke årsagsvirknings-relationer er eksempelvis underforstået? Evaluator skal syntetisere sammenhængende relationer mellem mål og midler, som ikke er fuldt artikulerede i den rå interventionsteori, men som vi med god grund kan hævde ligger i nærheden af sandheden. 2. Induktiv tilgang: Med denne tilgang udleder evaluator sin programteori fra praksis. Det inkluderer typisk observation, interview med fagpersonale og deltagere. Ved denne tilgang ræsonneres der ikke frem til de usynlige mekanismer, de afsøges i stedet i feltet. Evaluator bør i denne proces overveje hvilke interessenter der inddrages og hvordan modstridende eller divergerende forestillinger skal håndteres. Skal der udarbejdes flere programteorier eller én samlet? Og har evaluator mandat til at beslutte hvilke forestillinger der skal med? De relevante interessenter vil typisk være fagpersonalet og ledelsen, politikere og bidragsydere, vigtige samarbejdspartnere, målgruppen for interventionen og dem der forventes at nyde godt af programmet. En udvidelse af denne forståelse er at lade interessenterne (fx programmedarbejdere eller faglige ledere) selv udarbejde deres egne programteorier. 7 Funnell & Rogers (2011: kapitel 12) betegner disse for program-arketyper og tilføjer desuden sagsbehandling, lokal kapacitetsopbygning og direkte serviceydelser. 13

14 Programteorier anvendes i så fald som et redskab til intern evaluering og faglig dialog. Det er således ikke en ekstern evaluator som har ansvar for at konstruere programteorien, om end de kan anvendes som proceskonsulenter og undervisere. En programteori der udledes induktivt kan være selve produktet af evalueringen (Funnell & Rogers 2011: 102), men den kan også gøres til genstad for evaluering. Evalueringen kan afsløre uoverensstemmelser mellem teorien og implementeringen af interventionen, samt mellem interessenternes forestillinger og udtalelser om hvad de gør og det, som de gør i praksis. Funnell og Rogers (2011) påpeger at det er nødvendigt, at vurdere hvilken type problem evalueringen skal håndtere, særligt når det kommer til at beslutte, om programteorien skal opstilles på baggrund af dialog med interessenter og i så fald hvem og hvor mange. Her skelner Funnell og Rogers (2011) mellem simple, komplicerede og komplekse problemer. Ved et simpelt problem, fx at bage en kage, hersker der lav usikkerhed om, hvordan man opnår det ønskede resultat (følg opskriften) og begrænset uenighed om målet (en chokoladekage skal smage af chokolade). I disse tilfælde kan det være tilstrækkeligt at have dialog med en lille kreds af interessenter, fx fagpersonale og brugere. Ved komplicerede problemer hersker der stor usikkerhed om midler, men enighed om målet (fx at sende en raket til månen) eller sikkerhed om midler, men uenighed om målet (fx abort). Ved komplekse problemer er der både usikkerhed om midler og uenighed om målet (fx opdrage et barn). Når problemet er enten kompliceret eller komplekst anbefaler Funnell og Rogers (2011), at der er dialog med en bredere kreds af interessenter. Formålet hermed er at skabe legitimitet bag evalueringen, få divergerende forestillinger frem og skabe rum for vidensdeling. Visuel præsentation Når kildematerialet til programteorien er indsamlet er der ofte en god ide at lave en visuel præsentation af programteorien. En god fremstilling af en programteori er hverken for detaljeret eller for overfladisk og skal kunne fungere som et redskab i evalueringen. Der er imidlertid en afvejning imellem at konstruere programteorier som detaljerede virkelighedsbeskrivelser og samtidig anvende dem som evalueringsværktøj. Jo mere virkelighedsnære og genkendelige programteorier bliver for programmets interessenter, desto vanskeligere bliver de at evaluere. Og omvendt, jo mere simple og evaluerbare programteorierne er, desto mere abstrakte og fjerne vil de forekomme i forhold til den ofte komplekse sociale virkelighed de beskriver. Der er ikke nogle simple løsninger på dette dilemma, men der er forskellige visuelle skabeloner i litteraturen som kan håndtere varierende grader af kompleksitet. Den grafiske eller sproglige fremstilling af programteorien er et redskab til at evaluere de udvalgte dele af kausalforholdene, man ønsker at undersøge. Der må derfor ved konstruktionen af programteori tages højde for, hvor lang en kausalkæde som er hensigtsmæssig, samt hvor detaljeret den bør være. På den ene side kritiseres programteorier for at være forsimplende, men 14

15 på den anden side er et landkort i størrelsesforholdet 1:1 ubrugeligt (Dahler-Larsen 2013: 124). Udformningen af programteorien vil uundgåeligt være en proces med tilvalg og fravalg. Det er derfor en øvelse, som skal gøres med omtanke og som bliver bedre med erfaring og gentagne revisioner. Måden hvorpå vi tænker om programteori påvirker hvordan vi repræsenterer den og måden hvorpå vi repræsenterer programteori påvirker hvordan vi tænker på den (Funnell og Rogers, 2011: 241). Konstruktion af programteori indeholder en dualitet. Den måde vi tænker på programmet influerer på, hvordan vi visualiserer programteorien, men når programteorien først er visualiseret, så vil den efterfølgende påvirke den måde vi tænker på programmet. Programteorien bliver derved styrende for evalueringen. Programteorier fremstilles ofte i det, der kaldes en logisk model. En logisk model kan tage mange forskellige former, men i evalueringslitteraturen anvendes typisk pilediagrammer, rutdiagrammer, udfaldskæder eller realistiske matricer (Funnell & Rogers 2011: 32, 243f). Pilediagrammer visualiserer interventionen som en række sammenhængende kasser med pile imellem. Interventionen visualiseres trin for trin fra input, indsats, output til outcome. I eksemplet nedenfor bruger vi Funnell og Rogers æbleeksempel, hvor der leveres gratis æbler til studerende for at forbedre sundhedstilstanden: An apple a day keeps the doctor away. Her kan en programteori synliggøre, under hvilke omstændigheder udlevering af æbler leder til forbedret helbred. Teorien bag interventionen er, at uddeling af æbler giver deltagerne bedre adgang til frisk frugt og at deres helbred forbedres, når de spiser æblerne pga. C-vitamin. Figur Programteori som pilediagram Input Indsats Resultat Effekt - Gratis æbler på skolerne - Elever spiser et æble hver dag - Eleverfår tilskud af Vitamin C i kroppen - Eleverfår bedre helbred Pilediagrammets styrke er, at den er simpel og giver et godt overblik over interventionen. Modellen kan udbygges med flere kausale kæder, hvis interventionen eksempelvis indeholder flere aktiviteter. Den minder imidlertid mere om en implementeringsteori end om en programteori. Den indeholder eksempelvis ikke antagelser om mekanismer og moderatorer, som er afgørende for at gennemføre en virkningsevaluering (jf. Funnell & Rogers, 2011: 24ff.). 15

16 Udfaldskæder (outcome chains) består ligesom pilediagrammer af en række kasser, men til forskel fra pilediagrammerne består hver kasse af et udfald (outcome). Indsatsen bliver derved ikke beskrevet som en selvstændig kasse, men indgår som en del af beskrivelsen af et udfald. Udfaldskæder minder om pilediagrammer, men er mere udbyggede og bedre egnede til at indfange hvordan en intervention virker, herunder forandrings- og implementeringsteorien. Modellen er derfor også velegnet til at visualisere de variable som skal medtages i evalueringen (Funnell & Rogers 2011: 245f). Figur Programteori som udfaldskæde (outcome chain) I æble-eksemplet bliver det muligt, at visualisere flere forskellige udfald eller nærmere hypoteser om hvorfor indsatsen forventes at virke. Det er således muligt, at årsagen til de studerendes forbedrede helbred ikke (kun) skyldes et højere niveau at vitamin C i kroppen, men at de studerende, som spiser et æble er mindre sultne, hvorfor de spiser mindre junkfood og dermed får bedre BMI. En tredje mulighed er realistiske matricer som blev introduceret af Ray Pawson og Nick Tilley (1997) og visualiserer programteorien som CMO-konfigurationer. I forhold til de to andre visualiseringer er fordelen ved den realistiske matrice at konteksten tydeliggøres. 16

17 Figur Programteori som realistisk matrice Kontekst (C) + Mekanisme (M) = Outcome (O) Skoler med mange + Æbler indeholder C-vitamin overvægtige børn + Æbler erstatter usunde Skoler med få overvægtige fødevarer = Elever får bedre helbred børn + Undervisning om sund Skoler i storbyer levestil Skoler på landet Vi undersøger i æble-eksemplet om indsatsen virker forskelligt på skoler i forskellige kontekster (skoler med mange/få ovevægtige børn og skoler i storbyer/landet). Vi kan også undersøge hvilke mekanismer, der er kausalt forbundet med effekten (at æbler indeholder C-vitamin, at æbler erstatter usunde fødevarer eller om undervisning om sund levestil er mest virksomt). Pawson og Tilleys (2013) idé bag den realistiske matrice er, at der altid vil være flere hypoteser i spil. Ved at opstille CMO-konfigurationen i en tabel, bliver det muligt at opliste forskellige hypoteser om sammenhængen mellem kontekster, mekanismer og outcomes. En sidste grafisk illustration vi ønsker at præsentere er en vi selv har anvendt i forbindelse med forskellige virkningsevalueringer. Modellen inkorporerer input, aktivitet, output og outcome fra pilediagrammet med mekanismer og kontekst/moderatorer fra den realistiske matrice. I kasserne ved hvert af programteoriens begreber har vi indsat spørgsmål, som er væsentlige at besvare for at konstruere programteorien. 17

18 Figur Programteori som rutediagram Kilde: Tilpasset efter T. Bredgaard m.fl. (2011): Hvad virker i aktiveringsindsatsen? Beskæftigelsesregion Nordjylland. Rutediagrammet stammer fra projektet Hvad virker i aktiveringsindsatsen?, hvor det blev brugt til at konstruere og evaluere programteorier for forskellige typer af beskæftigelsesindsatser (jf. Bredgaard m.fl. 2001). Fordelen er, at dette rutediagram synliggør de mekanismer som får indsatsen til at virke, samt de moderatorer eller kontekstforhold som er en forudsætning. Derved bliver det også tydeligt, hvilke variable der skal indgå i testningen af programteorien. En programteori kan ligeledes fremstilles sprogligt. Fordelen ved en sproglig fremstilling af programteorien er, at den kan være lettere at forstå end en visuel præsentation for udefrakommende. Kasserne og pilene i den grafiske fremstilling efterlader ofte mange spørgsmål og er ikke altid intuitiv for dem der ikke selv har været med til at udarbejde den. Det kan derfor være en fordel både at have en grafisk og sproglig fremstilling af programteorien (Funnell & Rogers 2011: 249f). Den sproglige fremstilling kan enten være skrevet som et narrativ eller som en antagelse if-then. Inspireret af Funnell og Rogers (2011) og Dahler-Larsen (2013) kunne programteorien for æble-projektet se således ud ( If-then ) (Funnell & Rogers, 2011: 122; Dahler- Larsen, 2013: 122): Hvis der leveres gratis æbler til skolerne Som stilles frem i spisefrikvarteret Og eleverne ser æblerne Og spiser dem 18

19 Og dermed undlader at spise deres normale mellemmåltid (fx usundt snack) Så vil det forbedre deres niveau af C-vitamin og deres BMI Hvorved de opnår bedre heldbred. Der er således flere muligheder for at illustrere programteorier. Det væsentligste er at programteorien synliggør antagelser om, hvad der virker for hvem, under hvilke omstændigheder. Det er gyldigheden og rækkevidden af disse antagelser som testes, når programteorien efterfølgende skal evalueres. Evaluering af programteorier Et væsentligt formål med at konstruere en programteori, er at teste om programmet faktisk virker som antaget. Derfor skal den gode programteori være testbar altså kunne efterprøves empirisk. Man efterprøver programteoriens gyldighed og rækkevidde, ved at teste antagelserne empirisk ved brug af forskellige dataindsamlingsmetoder. Efterprøvningen af teori kan antage mange former, hvorfor det er nødvendigt at gøre sig en række overvejelser, om det evalueringsdesign og de metoder, som sættes i spil. I det følgende beskriver vi først hvilke typer af kilder og metoder, som er velegnede i evaluering af programteorier og dernæst, hvordan man i evalueringen kan skelne mellem eventuelle teori- og implementeringsfejl. Til sidst redegør vi for hvordan man i virkningsevaluering behandler det kontrafaktiske spørgsmål om, hvad der ville være sket, hvis programmet ikke eksisterede og hvilke metoder der kan anvendes til undersøge forbindelserne mellem årsag og virkninger. En multimetodologisk tilgang Formålet med at evaluere en programteori, er, som nævnt, at blive i stand til at afkræfte, bekræfte, revidere, specificere eller forfine antagelserne om programmets virkninger. Pawson & Tilley (1997) påpeger, at der er tale om en cirkulær proces, hvori man under evaluering bevæger sig fra teori henover hypotesedannelse og empirisk test, for til sidste at blive i stand til at specificere sine programteoretiske antagelser. At der ikke er én bestemt type metode, som har forrang i virkningsevaluering, betyder at metodevalget i stedet afhænger af evalueringsspørgsmålet og af de opstillede hypotesers karakter. Man søger at anvende de metoder, som findes mest adækvate til at teste lige netop det led i programteorien, som man ønsker at undersøge. Det kan således være en fordel at inddrage forskellige metoder, til at belyse forskellige dele af en programteori, alt efter hvilket spørgsmål, som ønskes besvaret. Om en effektevaluering eksempelvis er relevant, afgøres alene af forskningsspørgsmålet. Det er ikke fordelagtigt at forlange så sikre effektmålinger at designet ødelægger interventionen, eller at man opnår metodisk og praktisk handlingslammelse. Det 19

20 afgørende er en praktisk dømmekraft, som overskygger på forhånd fastlagte metoderegler (Dahler-Larsen, 2013: 171). I det følgende ser vi nærmere på, hvordan et evalueringsdesign konkret og metodisk kan bygges op omkring et eksempel på en programteori. I figur 12.6 præsenteres et skelet til en simpel programteori for en indsats overfor sygemeldte borgere. Målet med interventionen er at gøre de sygemeldte i stand til at genoptage deres daglige arbejde. Programteorien er illustreret ved et rutediagram, der beskriver indsatsens målgruppe, aktiviteter, mekanismer, samt del- og slutmål. For at begrænse kompleksiteten præsenteres blot en enkelt aktivitet og et enkelt bud på en virksom mekanisme (for en mere detaljeret programteori, se Sieling-Monas & Bredgaard, 2015). Figur Programteori for sygedagpengeindsats Målgruppe - Sygemeldte Aktivitet - Fysisk træning Mekanisme - Genoptræn skade Resultat - Færre smerter Effekt - Tilbage til arbejde Hvis vi skal opbygge et design som kan teste ovenstående programteori, må vi se nærmere på de enkelte dele for at vurdere, hvilke metoder det vil være hensigtsmæssigt at anvende. Hvis vi eksempelvis gerne vil teste hvorvidt aktiviteten har ført til den ønskede effekt (altså hvorvidt fysisk træning medvirker til hurtigere tilbagevenden til arbejdet), kan dette lade sig gøre ved hjælp af en effektmåling på fx survey- eller registerdata. Er vi derimod interesserede i at undersøge, om deltagerne oplever færre smerter (resultat) som følge af træningen (aktivitet), kunne det være en idé at gennemføre eksempelvis interview eller en spørgeskemaundersøgelse før og efter interventionen. På den måde afhænger valg af metoder af, hvilke led i en programteori vi vil teste, og som følge heraf hvilke spørgsmål vi ønsker besvaret. Virkningsevaluering fokuserer på at undersøge programteoriens virkninger og ikke nødvendigvis brugernes eller deltagernes tilfredshed eller oplevelser med indsatsen (jf. Pawson & Tilley, 1997:159). Når man i virkningsevaluering ofte plæderer for vigtigheden af at inddrage programdeltagerne, skyldes det at brugerne kan være oplagte kilder til at belyse programteoriens antagelser, snarere end et ønske om at høre dem ud fra normative standarder (Dahler-Larsen 2013: 136). Et eksempel på ovenstående er, at de sygemeldte deltagere på genoptræningskurset ikke i udstrakt grad vil blive bedt om at beskrive, hvordan de har oplevet deres deltagelse, eller om de har fundet udbyttet af kurset godt eller dårligt. Snarere vil de blive adspurgt, hvilke funktioner de er blevet i stand til at varetage, hvordan deres smerteoplevelse har udviklet sig undervejs, eller hvilke aktiviteter de har været i stand til at udføre henholdsvis før og efter deltagelsen. Man leder således efter indikationer på virkninger af indsatsen, fremfor holdninger, 20